Posto ai margini del centro storico di Carovigno, su di un piccolo promontorio, il castello, costruito su un edificio preesistente di origine normanna del quale rimarrebbe traccia nella torre quadrata a sud, è il risultato di diverse modifiche avvenute a partire dal Trecento. Il Castellum Carovinei viene citato per la prima volta in una pergamena che risale al 1163, anno in cui la città era sotto il dominio feudale del normanno Goffredo III di Montescaglioso. Il documento, conservato nell’Archivio Capitolare di Ostuni, è tramandato dallo storico locale Ludovico Pepe nelle Memorie Storico-Diplomatiche della Chiesa Vescovile di Ostuni, pubblicata nel 1891. L’ampliamento del castello fu voluto dalla famiglia feudataria dei Del Balzo Orsini per difendere il paese dalle incursioni saracene, e alla struttura venne aggiunta la torre circolare. Nel 1440 l’edificio, definito “palatium”, è infatti inserito nell’inventario di Maria d’Enghien, principessa di Taranto, già moglie di Raimondo del Balzo Orsini e dal 1407, dopo la morte del consorte, sposa del re di Napoli Ladislao d’Angiò-Durazzo. Il feudo di Carovigno a partire dal XVI secolo divenne proprietà di diverse famiglie nobiliari fino al 1792, quando passò ai Dentice di Frasso, ultimi feudatari del castello. Gerardo di Frasso, principe di San Vito dei Normanni, nello stesso anno acquistò dal Regio demanio di Napoli sia il feudo di Carovigno che il castello del vicino borgo agricolo di Serranova. Le diverse famiglie che nel corso dei secoli si susseguirono nel feudo di Carovigno resero l’interno dell’edificio militare più adatto alle esigenze residenziali, mediante l’apertura di porte, finestre e balconi. Nel corso del XVIII secolo venne realizzata l’elegante balconata che domina il prospetto sud del cortile, realizzata utilizzando la pietra calcarea locale. L’edificio ha una planimetria pressoché triangolare con torrioni angolari, uno quadrato, uno circolare e una possente torre a mandorla a nord-est, con la punta rivolta verso il mare. La presenza della torre del tipo “a mandorla” fatta costruire dalla famiglia dei Loffredo, che furono feudatari dal 1492 al 1595, avvicina il castello di Carovigno a quello di Rocchetta Sant’Antonio e di Monte Sant’Angelo, costruiti secondo i più moderni sistemi difensivi diffusi in Puglia dal senese Francesco di Giorgio Martini. Sappiamo che l’architetto nel corso del 1492 ebbe modo di visitare ed esaminare con il duca Alfonso d’Aragona, le fortificazioni di Terra d’Otranto, suggerendo modifiche alle strutture difensive urbane per renderle più consone alle nuove esigenze militari. Se l’edificio non è totalmente ascrivibile all’opera dell’architetto senese è probabile che possa aver progettato il torrione “a mandorla”. Sul finire dell’Ottocento il castello venne abbandonato e cadde in rovina. Tra il 1906 e il 1916, fu eseguito un restauro dall’architetto Gaetano Marskizeck che ha interessato il consolidamento delle strutture esistenti, ormai compromesse, e l’adeguamento degli ambienti interni alle moderne esigenze abitative che potessero nello stesso tempo esaltare il prestigio nobiliare della coppia, il conte Alfredo Dentice di Frasso e la giovane moglie austriaca, che ricevettero il maniero come dono di nozze. Nel 1961 la famiglia vendette il Castello all’Opera Nazionale per la protezione della Maternità e dell’infanzia e dal 1973 è proprietà della Provincia di Brindisi