La villa estuvo amurallada hasta el siglo pasado. De origen medieval, en la actualidad sólo perviven tres de los cinco portales que al parecer poseyó: la capilla-portal de San Roque, la capilla-portal de San Antonio, y el portal de Valderrobres. Éstos están definidos por arcos de medio punto y realizados con buena piedra sillar.
El portal situado al Este, Portal de San Juan se localizaba al lado de la iglesia. El otro portal que tampoco se ha conservado es el Portal del Pilar, que se situaba al Norte de la ciudad y fue derribado en la década de 1930 para facilitar el acceso rodado a la población.
Del antiguo recinto amurallado medieval, se conservan varios tramos. Este estaría conectado con el portal de San Roque.
Frente al portal de Valderrobres, se conserva otro tramo de muralla que se conoce popularmente como ‘La Barana’.