Il complesso presenta una pianta irregolare che segue nel suo andamento il profilo della collina. Il borgo è composto da 12 torri con tratti in alcuni casi merlati e con feritoie. La torre principale detta "il grande torrione" doveva essere adibita a carcere. Insieme a Roccaravindola e Scapoli, Santa Maria Oliveto può essere inserito nella tipologia dei villaggi fortificati privi di rocca (continua nelle annotazioni)