La villa de Peñarroya de Tastavins se encuentra en la base del Tossal de la Mola, en una explanada donde en el pasado se ubicaba el antiguo castillo. Aún hoy, se conservan restos que atestiguan la existencia del castillo. Al final de esta estructura, hay un amplio y profundo tajo, que pudo haber funcionado como un puente levadizo del castillo o como una trinchera de defensa que bloqueaba el acceso al mismo. Este tajo se conoce como “Pont Xafat.”
El caserío de Peñarroya de Tastavins se formó alrededor de este castillo y, con el tiempo, la población comenzó a descender desde la montaña hacia la llanura. Esto marcó la expansión del asentamiento, y con el tiempo, el pueblo creció más allá de los límites originales que solían estar marcados por las puertas de la muralla del castillo. La evolución de la villa y su traslado descendente desde la montaña son aspectos interesantes de su historia y desarrollo urbanístico.