Il Castello sorge su una collina a 142 m slm e il mastio, il torrione principale, s'innalza per 30 metri, dominando l'intera vallata. Probabilmente già esistente negli ultimi anni dell'altomedioevo, viene per la prima volta menzionato nel XII secolo. Il mastio, infatti, venne costruito attorno al 1150 dalla potente famiglia dei De Griffo, ma furono i Malatesti a costruire la Fortezza e le due cinte di mura tra il XIII ed il XIV secolo e a dare a Gradara l'aspetto attuale