L'edificio doveva, probabilmente, essere parte di una più complessa struttura difensiva della città che il Conte voleva realizzare, e di cui, forse, doveva fare parte anche la coeva scarpa della torre rinvenuta, agli inizi degli anni novanta del secolo scorso, al di sotto dell'attuale piazza Vittorio Veneto. La struttura dell'edificio si compone di un grosso mastio centrale, un torrione circolare con quattro livelli interni, che si collega attraverso due cortine murarie a due torri più piccole, ognuna con due livelli, da cui si dipartono due ulteriori bracci rimasti incompiuti. La presenza di un doppio fossato, uno esterno, più ampio, verso la città, e uno interno di ridotte dimensioni, e quindi di un doppio ponte levatoio lungo la cortina di sinistra, rafforza l'ipotesi del baluardo rispetto a quanto avrebbe dovuto essere realizzato prolungando i due bracci che si dipartono dalle torrette laterali. L'incompiutezza dell'edificio materano non permette di valutare quale sarebbe stata l'articolazione della struttura fortificata, ma l'analisi tipologica e dimensionale degli elementi che costituiscono l'edificio consente di affermare che il progetto è da attribuire ad architetti che conoscono a fondo l'opera dell'architetto senese Francesco di Giorgio Martini. Quest'ultimo era presente a Napoli nel 1491-1492, e poi nel 1495 e forse anche nel 1497, nei periodi, cioè, in cui il Tramontano era attivo in questa città, e la sua presenza potrebbe aver permesso al conte di conoscere e apprendere le nuove tecniche militari, consentendogli poi di utilizzarle per la fortezza materana. Caratteristica è la successione dei vari livelli del torrione centrale che, a meno di quello relativo alla scarpa, non corrispondono con i piani delle torri laterali. L'accesso al mastio, infatti, avviene attraverso due collegamenti verticali, angusti e con scalini molto alti, facilmente difendibili, che portano al terzo piano: da questo poi si può scendere a quelli inferiori e salire a quello superiore e quindi alla copertura. L'esistenza, poi , di una terza apertura nel torrione centrale al terzo livello, quindi ad una quota superiore rispetto agli altri due, che sottintende la presenza di un ulteriore ponte levatoio di dimensioni ridotte, rivolto verso il fossato interno, consolida la tesi della funzione di antemurale della attuale struttura e fa supporre la realizzazione, al di la del fossato esterno, di altri edifici in cui ritirarsi nel momento in cui fosse stata espugnata l'antemurale. Dopo la morte del Conte il Castello, e sopratutto il mastio, è stato utilizzato quale carcere, come testimoniano le numerose iscrizioni e disegni presenti sulle murature, sino ai primi Completamento ai fini della valorizzazione e fruizione decenni del XVII secolo