Embora a sua ocupação seja muito anterior, grande parte das estruturas atualmente existentes no Castelo de Abrantes são o resultado de alterações levadas a cabo entre os séculos XV e XIX e das destruições de inspiração revivalista conduzidas pelo Estado Novo no século XX. De origem medieval são a Igreja de Santa Maria do Castelo (edificada em 1215), restos da torre de menagem dionisina (erguida em 1303) e alguns troços da muralha e torreões.
Nos séculos XV e XVI, o castelo foi adaptado a residência senhorial dos Almeidas. Esta linhagem foi iniciada por Fernão Álvares de Almeida, um apoiante do Mestre de Avis durante a revolução de 1383-85, recompensado com vários bens e privilégios, nomeadamente em Abrantes e seu termo. O seu filho, D. Diogo de Almeida, viu confirmados esses privilégios e recebeu a alcaidaria do Castelo de Abrantes. O filho deste, D. Lopo de Almeida, obteve o senhorio de Abrantes, o título de Conde de Abrantes e o senhorio do Castelo em 1471-76.
A construção do palácio, cujas ruínas se encontram na muralha Oeste, incluindo a atual entrada do Castelo, terá sido iniciada em 1432-33 pelo segundo destes Almeidas, D. Diogo, que também adaptou a Igreja de Nossa Senhora do Castelo a Panteão da família. Este palácio foi profundamente modificado pelo 1.º Marquês de Abrantes, D. Rodrigo de Almeida e Meneses entre 1718 e 1733. D. Rodrigo já não era um descendente direto de Fernão Álvares de Almeida, cuja linhagem foi interrompida, sem herdeiros diretos, em 1633.
O papel militar deste palácio-castelo voltou a ser reforçado com as Guerras da Restauração (1640-1668) e da Sucessão de Espanha (1701-714), nomeadamente com o reforço de muralhas e a construção de três paióis subterrâneos, ainda existentes. Este papel só se tornou dominante a partir de 1798, quando foram aquartelados em Abrantes 3.500 soldados da Legião Portuguesa, o que levaria à sua ocupação do Palácio - já sem a presença do Marquês - e à construção de um quartel. Com a Revolução Liberal de 1820, o Castelo tornou-se um espaço exclusivamente militar, situação que se manteve até meados do século XX.
Em 1969-70, a Direção-Geral dos Edifícios e Monumentos Nacionais levou a cabo a demolição do quartel oitocentista e de vários elementos posteriores à Idade Média, como aconteceu noutros castelos de Portugal desde a década de 1940, de forma a tentar recuperar a imagem medieval do castelo (o que, neste caso, claramente não foi conseguido).
- Rua Dom Francisco de Almeida, 2200-242 Abrantes