Villespy, comme beaucoup de villages voisins, était un village fortifié, avec un château. Les traces en sont aujourd'hui encore visibles.
Le quartier du château se situe sur les restes de l'ancien château. Le puits du château était encore visible jusqu'à il y a une cinquantaine
d'années. En faisant le tour de ce quartier, nous pouvons voir, "derrière le château" les bases des murs. On peut voir également très nettement la porte d'entrée du château, aujourd'hui incluse dans une grande et massive maison, sur laquelle figure le blason de Guillaume de CARDAILLAC, évêque de Saint-Papoul.
Le Barry, le faubourg, s'étend lui à l'ouest de l'ancien village. Les maisons construites au nord du barry le sont sur les falaises bordant la migaronne. En prenant le chemin des hortes (débutant à la source des cannelles), qui comme sont nom l'indique, est bordé de jardins, nous découvrons ces falaises, creusées de grottes.
La source des Canelles, captée au début du XIXe siècle, a permis d'alimenter le village en eau pendant de très nombreuses années, le premier réseau date de 1882. A côté des "canelles" (petit monument, d'où sortent trois becs frontaux et un de côté) se trouve le lavoir, alimenté lui aussi par la source.