Kirchen, in denen Ablässe, das heißt Nachlässe zeitlicher Sündenstrafen, zu gewinnen waren, übten auf die gläubige Bevölkerung große Anziehungskraft aus. Im 15. Jh. wurden in Lavant immer wieder solche Ablässe gewährt, weshalb es schon länger als Gnadenort galt. Von einem Wallfahrtsort kann jedoch erst ab dem 17. Jh. gesprochen werden.
Die Legende, welche die Gründung der Wallfahrt nach Lavant erklärt, erzählt von Hirten, die ihre Herde auf dem Lavanter Kirchbichl weideten und plötzlich ihre Schafe nicht mehr fanden. Als sie diese suchten, entdeckten sie alle Schafe auf den Vorderbeinen niedergebeugt vor einem Marienbild. Die Hirten berichteten den Dorfbewohnern von dem Bildnis, die sofort veranlassten, dass das Marienbild vom Kirchbichl in den Ort gebracht wurde. Als das Bild jedoch am nächsten Tag verschwunden war, begann man es zu suchen und fand es schließlich wieder am ursprünglichen Platz auf dem Kirchbichl. Nun begriff man, dass die Gottesmutter an dieser Stelle verehrt werden wollte.
Um 1635 fanden die ersten Wallfahrtsprozessionen nach Lavant statt. Sie wurden von den Orten Virgen und Prägraten veranstaltet, die aufgrund der Pest jedes Jahr einen weißen Widder als Opfer nach Lavant führten. Nach einem feierlichen Gottesdienst wurde das Tier versteigert und der Erlös ging an die Kirche von Lavant. Nach dem 1. Weltkrieg wurden die Widderprozessionen nach Lavant abgebrochen. Seitdem wird der Virger Widder in der Wallfahrtskirche von Obermauern geopfert. Vor etlichen Jahren ließen die Lavanter selbst diesen alten Brauch wieder aufleben und veranstalten anlässlich des Kirchtags eine Prozession mit dem Opferwidder, der nach dem Gottesdienst zu Gunsten der Wallfahrtskirche verlost wird.
Lavant gehört heute neben Obermauern, Hollbruck und Maria Luggau zu den bedeutendsten Wallfahrtsorten der Gegend. Jedes Jahr am 1. Mai wird schon seit längerer Zeit die alljährliche Wallfahrt des Dekanates Lienz unter großer Beteiligung der Bevölkerung durchgeführt. Weiters finden in den Sommermonaten jeweils am 13. Wallfahrten statt, die von verschiedenen Seelsorgeräumen bzw. Pfarren veranstaltet werden.