Seguint la mateixa línia ascendent, des del monestir de Santa Maria de Lillet, podrem anar a la roca del Castell de la Vila, lloc en què, tal com diu el seu nom, hi havia ubicat el castellrefugi dels habitants de la vall de Lillet.

Actualment està gairebé enderrocat, tan sols hi podem contemplar una petita paret.

Anys enrere, s'hi va col·locar una majestuosa creu, i fa pocs anys, s'hi va col·locar una senyera.