Westlich der Pfarr- und Wallfahrtskirche St. Ulrich befinden sich die beachtlichen Reste der ab 1949 von Franz Miltner freigelegten so genannten frühchristlichen Bischofskirche.

Die Kirche wurde vermutlich schon im 4. Jh. oder frühen 5. Jh. n. Chr. erbaut. Sie wurde mehrfach um- und ausgebaut. Die Kirche bestand aus einer Gemeindekirche mit Priesterbank und Altar sowie einer Taufkapelle im Westen. Im Osten wurde eine 2. Kirche angebaut, in der besondere Reliquien verehrt worden sind. Die Bischofskirche war prächtig ausgestattet mit Marmorsäulen und diversen anderen Bauteilen aus Marmor. Im südöstlichen Teil der Ausgrabungen sieht man einen großen und mehrere kleine Felsbrocken. Diese waren der Grund, dass vermutlich um 600 die Kirche und mit ihr die Siedlung zerstört wurde.