Etwa 50 m westlich des Episkopiums liegt südlich des Weges im Wald ein Geländeeinschnitt, der als Burggraben bezeichnet wird und vermutlich ein Teil einer mittelalterlichen Burganlage war.
Von dieser Burg, die im Volksmund „Trettenstein“ genannt wird, sind nur mehr einige wenige Reste erhalten. Sie wurde wahrscheinlich zu Beginn des 13. Jhs. errichtet und von den Herren von Lavant bewohnt, welche der Gefolgschaft der Görzer Grafen angehörten. Da die Lavanter Herren in der 2. Hälfte des 14. Jhs. immer wieder in Streit mit den Görzern gerieten, mussten sie schließlich im Jahre 1369 den Lavanter Besitz an den Grafen Meinhard von Görz übergeben. Daraufhin wurden in Lavant Burggrafen eingesetzt. 1444 wurde der Lavanter Kirchbichl in das Görzische Verteidigungswesen mit einbezogen, das eine Befestigung des Berges und die Ausstattung mit Vorräten und Waffen vorschrieb. Begründungen dafür waren der zunehmende Konflikt zwischen den Görzern und Kaiser Friedrich III. sowie die Bedrohung durch die bis Oberkärnten vorgedrungenen Türken. 1485 wird die Burg allerdings bereits als verfallen bezeichnet. Westlich der gotischen Peter und Paulkirche sieht man noch etwas von der Burgmauer. Die mittelalterliche Burganlage wurde zum Teil von der Kirche überbaut.
