Entre piedra, paredes, suelos, caminos y esquinas, se crea Valderrobres sobre sí mismo. Desde el año 1930 se cobró a los habitantes del lugar para poder amurallar el casco y fortificarlo.
En el Castillo-Palacio se celebraron, en varias ocasiones, las Cortes de Aragón, que tuvieron como protagonista al rey Alfonso V.
Sobre el castillo existe un aleyenda de que en su recinto hay una fuente que para unos es maldita y se traga a los niños y para otros es milagrosa porque además proporciona la eterna juventud.