Die Geschichte von Silves hängt eng mit der maurischen Herrschaft zusammen, die im 8. Jahrhundert begann und die Stadt, damals bekannt als Xelb, zu einem der wichtigsten Zentren der islamischen Welt auf der iberischen Halbinsel machte. Xelb war eine Metropole mit Kultur, Wissenschaft und Kunst, die mit Städten wie Sevilla und Córdoba konkurrierte. Die Mauren hinterließen ein Erbe, das bis heute sichtbar ist, insbesondere im Castelo de Silves und in den archäologischen Funden des Stadtmuseums.
Die Reconquista, die christliche Rückeroberung, erreichte Silves im Jahr 1189, als König Sancho I. von Portugal die Stadt mit Unterstützung von Kreuzfahrern eroberte. Dies war ein blutiger Kampf, der die strategische Bedeutung von Silves zeigte. Obwohl die Stadt später wieder an die Mauren fiel, wurde sie 1242 endgültig von den Christen zurückerobert. Diese wechselvolle Geschichte prägte die Architektur und die kulturelle Identität von Silves, die christliche und islamische Einflüsse vereint.
Nach der Reconquista verlor Silves allmählich an Bedeutung zugunsten der Küstenstädte, insbesondere nach dem Erdbeben von 1755, das große Teile der Stadt zerstörte. Dennoch hat Silves seinen historischen Charakter bewahrt und ist heute von dieser Vergangenheit geprägt. Die jährliche Mittelaltermesse im August, die 'Feira Medieval de Silves', lässt diese Epoche mit Ritterturnieren, Handwerksmärkten und historischen Umzügen wieder aufleben und zieht Besucher aus verschiedenen Ländern an.