Il nucleo originale risale alla fine del X secolo ed era costituito da un semplice torrione, dal quale si accedeva mediante una rampa ora distrutta, realizzata con un doppio strato di conci di pietra calcarea irregolari. Tra il XII e XIII secolo sotto le dominazioni sveva ed angioina si ebbero i primi ampliamenti con la costruzione di ulteriori opere di fortificazione, tra cui le tre torri di forma circolare che formano un triangolo isoscele, in cui venne inglobata la torre normanna. Nel 1361 Francesco Sanseverino, investito con il titolo di duca, acquistò il feudo di Ceglie, che era diventata proprietà della Curia di Brindisi. Il duca diede inizio all’ampliamento del castello. Per volere di Giovanni ed Aurelia Sanseverino, il castello assunse le forme di una dimora rinascimentale. I duchi diedero, infatti, avvio ad una serie di modifiche e alla costruzione dell’ala destra, come ricorda un’iscrizione posta sul portale d’ingresso alla cosiddetta “Sala del Consiglio” che reca la data 1525. A questa fase rinascimentale risale la costruzione della torre quadra, alta 32 metri. Il completamento dell’intero edificio e del portale d’ingresso fu eseguito per volere di Fabrizio Sanseverino, come ricorda un’iscrizione sul medesimo portale che reca la data 1602. Nel 1632 il feudo fu ceduto alla famiglia Lubrano, e da questa alla casata dei Sisto y Britto. Nel 1862 passò, infine, alla famiglia napoletana dei Verusio. Il castello si presenta con una forma poligonale irregolare, dalla quale svetta la torre quadra. Alla struttura si accede attraverso un ampio portale con arco a tutto sesto e un ingresso con volta ad ogiva che immette nell'atrio di forma irregolare circondato dalle varie ali del castello. Di fronte all’ingresso sono posti una scalinata ed un portale cinquecenteschi che conducono alla Sala del Consiglio e ad un ampio vestibolo con volta lignea decorata da pitture rinascimentali, mentre un corridoio immette nelle stanze fornite di monumentali caminetti in pietra