El poble de Vilaritg és al cim d’un tossal a la capçalera de la riera de Vilaritg, que aflueix, junt amb la de Cistella, al Manol, al sector septentrional del terme.
El Castell de Vilaritg, amb l’església al seu costat, domina a l’extrem de migdia, el reduït conjunt d’edificis disposats desordenadament per la carena. El petit agrupament, amb estructures arquitectòniques dels segles XV-XVIII, conserva actualment l’aspecte arcaic i ofereix solucions constructives tradicionals diverses, les quals s’han conservat sense modificacions apreciables.
