O Castelo de Serpa fica situado no centro histórico da cidade, no local mais elevado de Serpa. O Castelo e as Muralhas de Serpa dominam a paisagem alentejana em seu redor sendo avistados a grande distancia.
A fortificação deste local remonta à época dos romanos, sendo ocupado posteriormente por povos do norte da Europa e mais tarde por muçulmanos. Serpa é conquistada aos Mouros em 1166, e em 1295 D. Dinis manda construir as muralhas em redor da cidade.
Um facto curioso é a Torre de Menagem, danificada profundamente por uma brutal explosão de pólvora quando Serpa foi sitiada no século XVIII, no decurso da Guerra da Sucessão espanhola. Os danos são ainda hoje visíveis na entrada do Castelo.