Il sito è ubicato sulla cima indicata con il toponimo “Il Castello”. Dell'antica fortificazione non restano che labili tracce, in gran parte nascoste da una fitta vegetazione, a causa di un'intensa opera di smantellamento che si è perpetrata nel tempo. Secondo Buroni, infatti, già nel 1940 di Castell Doglione restavano "miseri avanzi"