L’aspetto originario della fortezza, che compare in un elenco di manieri e domus imperiali federiciani, si lascia immaginare dalla sagoma dei ruderi in cui è stata trasformata dal terremoto del 1731 ed in seguito a secoli di totale abbandono. Innalzato a ridosso della Fossa Bradanica, l’edificio era un tempo utilizzato per gli avvistamenti ed il controllo della via Appia (che univa Spinazzola ad Altamura, con altri assi viari verso Ruvo, Corato, Andria, Barletta) e delle terre situate lungo le aree di confine. Alle spalle della rocca del Garagnone, in direzione dell’Adriatico, ci sono le Murge alte, terre di rocce affioranti oggi brulle, ma in passato verdeggianti; di fronte ad essa si estendono terre prevalentemente pianeggianti, attraversate da corsi d’acqua diretti verso l’Adriatico. La posizione soprelevata della fortezza rispetto ai territori lucani è indicativa della sua funzione difensiva e di controllo; eppure, numerose cronache si riferiscono al Garagnone ed al feudo di sua competenza indicandola come un’area prospera, nodo di traffici commerciali tra l’Alta Murgia e le città costiere pugliesi. Si ritiene che l’origine del toponimo sia legata a Roberto Guaragna, uno dei cavalieri normanni giunti in Italia nel 1048, o a Rogerius Varannoni, normanno divenuto nel secolo XII signore di un casale terlizzese, poi acquisito dal dominatore di Andria ed infine ceduto all’ordine monastico cavalleresco dei Gerosolimitani di Barletta. Sulla base di documenti cartografici storici e di ripetuti sopralluoghi e ricognizioni territoriali, si è ipotizzata una possibile ricostruzione del castello, che era difeso da una cinta muraria che segue il tracciato del pendio. L’ingresso era situato lungo il lato settentrionale dell’altura. All'interno della cinta è ipotizzabile la presenza di un edificio a due piani, con un ingresso coperto, due stanze ad uso di stalla ed un altro ambiente sito al primo piano in cui veniva conservata la paglia. Un cortile scoperto con magazzino, una cappella con una stanzetta sopraelevata ed un ulteriore spazio utilizzato come magazzino si sarebbero aggiunti a sei stanze, di cui quattro ad uso abitativo, ad un ambiente con il centimolo (strumento per la macinatura del grano) e ad un altro munito di forno. Non è chiaro quanto delle strutture ancora conservate siano attribuibile all’impianto più antico, d’epoca normanna, anche perché le vicende della fortezza registrate nei documenti della Cancelleria Angioina (gli atti amministrativi e politici del regno che coprono un arco cronologico dal 1265 al 1435) riportano notizie di saccheggi e distruzioni che di certo modificarono inesorabilmente le caratteristiche architettoniche di questo importante castello delle alte murge pugliesi, che oggi si offre come suggestivo e privilegiato luogo di conoscenza della storia e del paesaggio locale