La prima notizia certa relativa all’esistenza delle fortificazioni casteldariesi risale al 1273, quando i Bonacolsi acquisiscono la struttura dai veronesi Turrisendi. Il complesso di Castel D’Ario, infatti, è parte, fino al secolo XIII, del sistema di difesa del confine veronese. Si tratta di un castello pensato come ricetto, funzionale al deposito dei prodotti agricoli e al rifugio in caso di bisogno. L’attuale struttura realizzata a partire dal secolo XII, in diverse fasi costruttive, si compone di due fortificazioni distinte: la rocca e il castello. La parte più antica sorge in corrispondenza del mastio che costituiva la parte centrale dell’originaria rocca, mentre, come ampliamento di questa struttura, si realizza, nella seconda metà del secolo XIII, il recinto con le quattro torri perimetrali. Tra il 1357 e il 1377 si porta a compimento il Palazzo Pretorio, decorando tutto il piano nobile con gli stemmi degli Scaligeri, i signori veronesi che l’avevano in pegno in quel ventennio.
Fino alla meta del ‘700, la torre della rocca era affiancata da una torre laterale ad angolo detta torresino, ed era circondata da un muro di cinta merlato con fossato, da un terrapieno e da un ponte levatoio verso l’interno del castello. A mezzo metro da terra una porta in ferro introduce nel locale del mastio dove nel 1851 si ricavò la ghiacciaia comunale. In occasione di quei lavori si rinvennero i resti di sette scheletri attribuiti a tre membri della famiglia Pico della Mirandola e a quattro della famiglia Bonacolsi, lasciati morire di fame nel fondo della torre rispettivamente nel 1321 e nel 1328. In seguito a quella scoperta la torre fu denominata della “Fame”. La merlatura esistente in cima alle torri e lungo le cortine perimetrali, è stata demolita alla fine del secolo XVIII.