Silves a fost capitala anticului regat arab al Algarve-ului și cel mai important oraș al său. Acea eră i-a oferit un contur impunător, epitomul fiind castelul său nuanțat în roșu, care invită la explorare.
Considerat cel mai frumos monument militar din Portugalia islamică, acest castel este de asemenea cel mai mare din Algarve. Turnurile și zidurile sale se află pe un deal al Serra de Monchique, astfel încât putea monitoriza și apăra teritoriul, iar astăzi sunt puncte excelente de observație asupra acestor câmpuri fertile acoperite cu portocali în jurul Râului Arade. A fost ridicat de arabi, probabil pe un vechi fort roman din secolele al IV-lea/al V-lea. Alte două ziduri au înconjurat de asemenea așezarea, dintre care doar câteva secțiuni au supraviețuit. În interior puteți vedea vechea cetate arabă și două rezervoare de apă, dintre care se spune că unul este legat de râu.
Silves a fost cucerit de la mauri în 1189 de Regele Sancho I, dar aceștia au fost expulzați definitiv abia în 1242 sub Regele Afonso III. Se crede că vechea Mare Moschee, acum transformată în Catedrală, datează din această perioadă și este una dintre cele mai importante biserici din Algarve, începută în stil gotic și finalizată în perioada barocă. Este situată vizavi de castel și, la fel ca acesta, a fost construită din piatră de nisip roșie de Silves.
