El castillo se encuentra en lo alto de una peña que domina todo el pueblo, de planta alargada se adapta a la orografía, destaca una torre de siete metros de lado construida a base de mampostería y sillería en las esquinas, realmente debió de ser una buena atalaya desde donde se dominaba todo el valle del Manubles.
Otro de los edificios que forman el patrimonio monumental de Berdejo es la iglesia de San Millán. Situada en lo alto de una peña a los pies del castillo, es fruto de distintas fases constructivas. La parte más antigua es el ábside románico de los siglos XII y XIII, es de forma semicircular en piedra de sillar decorado en la zona exterior por semicolumnas adosadas.
La iglesia es de nave única y fue modificada en el siglo XVIII debido a la gran afluencia de peregrinos devotos de San Millán que ejerció como sacerdote en esta iglesia, más tarde fue nombrado abad del Monasterio de Yuso. Este santo nació en este lugar sobre el año 473, según san Braulio, que fue quien escribió la biografía del santo, en esta iglesia también se conservan reliquias de este eremita.