Nel XV secolo gli Aragonesi avevano preso possesso del trono di Napoli e preoccupati sia per le rivolte interne della Calabria che per gli assalti dei pirati lungo le coste del regno avevano iniziato a proteggersi attraverso la costruzione di fortezze e castelli. A Castrovillari un comune della Calabria il Castello era stato iniziato intorno al 1461 ed era stato portato a termine intorno al 1490. Il Castello sorge sul sostrato di un fortilizio di età sveva ed è posto su un istmo pianeggiante dell’antico borgo di Castrovillari, a strapiombo sulle valli del Coscile e del Fiumicello. L’imponente complesso di età tardo-medievale per volere del re Ferdinando d’Aragona fu ristrutturato nel 1490. Il re giunto in Calabria per sedare la congiura dei Baroni aveva fatto rinforzare alcuni castelli che godevano di una posizione strategica come quello di Corigliano, di Pizzo e di Bevedere Marittimo. Dal 1495 al 1995 il Castello è stato un penitenziario.
La struttura si presenta come un unico blocco murario a forma trapezoidale all’esterno, mentre all’interno è rettangolare e la sua uniformità è interrotta da quattro torri angolari cilindriche: quella meridionale ha una copertura conica ed è la più massiccia; la torre più grande diametralmente opposta, vanta una copertura a terrazza non visibile all’esterno a causa di un parapetto eretto per permettere ai prigionieri di passeggiare all’aria aperta. La torre posta a oriente è l’unica che può essere chiusa all’interno a partire dalla base ed è caratterizzata da una corona di mensole e archetti tipici dello stile aragonese. L’ultima torre che è anche la più piccola è a forma di piramide tronca a dodici lati con copertura a cono ed è fornita di feritoie. Il mascheramento murario del castello ha un solo ingresso dove un tempo c’era un ponte levatoio e nell’ala che si affaccia a nord-est di recente sono state realizzate delle feritoie per permettere alla luce di entrare e illuminare gli ambienti interni. Un ampio cortile interno è fornito di ingressi che danno accesso alle varie abitazioni. Una lapide in pietra del XV secolo, esposta sul portale, reca l’iscrizione in latino: ”Ad continendos in fides cives”. Una citazione ricorrente anche negli altri castelli aragonesi che Ferdinando d’Aragona aveva voluto far rinforzare in seguito alla congiura dei Baroni. Tutte le iscrizioni portano infatti la data del 1490. I fregi ciclici delle lapidi sono contrassegnati al centro dal blasone degli Aragona sostenuti da due putti realizzati in stile fiorentino del Quattrocento. Il Castello era stato pensato, voluto e fatto edificare seguendo i piani e i criteri architettonici del celebre ingegnere militare Francesco di Giorgio Martini che lavorava presso la Corte d’Aragona per essere una prigione che in base agli atti notarili e ai certificati di morte risalenti al XVI, XVII, XVIII secolo era una delle più terribili dell’antichità. I sotterranei della fortezza sono caratterizzati da una serie di corridoi bui, di passaggi segreti e di stanze umide e tetre con volte a botte. Il suo mastio, decorato da archetti pensili è tristemente noto come la ”Torre dell’Infame”, a causa delle terribili punizioni inflitte ai briganti fatti prigioneri e in essa rinchiusi. Un restauro di tipo conservativo è stato realizzato il, 18 settembre del 2011. La ‘Torre dell’Infame’ considerata simbolo della città, conta più di cinquecento anni di storie di torture e suscita ogni volta una suggestione collettiva.