Il nucleo originario del castello di Toritto corrispondeva ad una torre quadrata di m 13x13, con muri spessi e circondato da un fossato, di origine normanna. La torre è rimasta pressoché intatta con la porta in legno di quercia, oggi ancora visibile sui suoi cardini. La torre presentava al primo piano un unico grande vano con una volta a botte, sostenuta da un poderoso arco a sesto acuto. Entrando nella torre, sulla sinistra è ancora visibile, in buono stato di conservazione, la vera del pozzo in pietra bianca con sopra scolpito lo stemma dei Della Tolfa. Il vano unico in seguito, forse in età rinascimentale, è stato frazionato in due distinti ambienti, da un muro di tramezzo che va ad impostarsi lungo l’asse dell’arco a sesto acuto. L’ingresso monumentale, dotato di un ponte in muratura fu arricchito sul finire del 1550, per volere del barone Orazio Della Tolfa Frangipane, da due leoni laterali su basamento in granito grigio di epoca medievale, tipici della decorazione lapidea degli edifici sacri di età romanica. Negli stessi anni il barone Della Tolfa fece apporre sulla facciata della torre normanna lo stemma dei Della Tolfa con un’epigrafe in latino, che esalta la stirpe del feudatario. All’interno il castello mostra un ampio androne pavimentato con chianche in pietra locale, di medio e grande modulo, con l’evidente funzione di distribuzione dei primi ambienti del manufatto. Risalendo nel vestibolo d’ingresso al castello si accede ad un cortile a pianta quadrangolare con i lati di circa m 20, sul quale si affacciano numerosi locali di servizio ubicati sui fronti Est e Ovest