Originile Castelo Branco pot fi găsite în timpurile romane, cu coloniștii care au stabilit Albi Castrum pe pantele dealului Cardosa. În 1214, regele Afonso II a oferit aceste pământuri Ordinului Cavalerilor Templieri, încredințându-le fortificarea și apărarea lor. Ordinul a început construcția Castelului care a devenit punctul focal pentru noul oraș care s-ar extinde treptat. În 1285, regele Dinis și regina sa Santa Isabel au stat aici în timp ce vizitau regiunea pentru a supraveghea și planifica întărirea apărării frontierei.
În 1510, Manuel a acordat o Cartă Castelo Branco. Documentul original este încă deținut de Consiliul Municipal. Misericórdia a fost fondată simultan cu sosirea altor ordine religioase, inclusiv Frații Augustinieni, în Conventul Graça, și Frații Capucini, localizați în Conventul Santo António.
În 1535, regele João III a acordat așezării titlul de "Oraș Eminenț" și spre sfârșitul secolului, episcopul de Guarda, Nuno de Noronha, a ordonat construirea Palatului Episcopal ca reședință de iarnă pentru cler. Palatul a supraviețuit atât ca un marcator al perimetrului vechiului Castelo Branco cât și ca o atracție majoră a orașului actual. În prezent, adăpostește importantul Muzeu Francisco Tavares Proença Júnior care prezintă istoria din spatele tradiționalei broderii de mătase Castelo Branco.
În 1771, regele José I a mutat pentru a recunoaște importanța comercială crescândă a orașului stabilind dioceza de Castelo Branco, ridicând-o la statutul de oraș, cu Biserica São Miguel (Sf. Mihail) devenind Catedrala.
Acesta a devenit punctul focal pentru extinderea orașului, cu clasa burgheză emergentă alegând locația pentru palatele și reședințele lor. După ce a recuperat de la invazia napoleonică, cu o bătălie majoră desfășurată în apropiere, a fost inaugurarea liniei de cale ferată spre sfârșitul secolului al XIX-lea care a dus la transformarea Castelo Branco într-un centru industrial important. O mare parte din dezvoltare s-a concentrat pe sectorul textil - o tradiție care continuă încă.
Castelo Branco poate fi vizitat ușor într-o zi. Urcă pe străzile abrupte spre Castel pentru a admira vederile minunate asupra peisajului înconjurător.
