Die Kaltenbrunner Wallfahrt dürfte schon im 12. Jahrhundert entstanden sein. Der frommen Legende nach fanden Hirten inmitten einer Geröllhalde eine Muttergottesstatue, um die Roggen und Weizen wuchsen, die vom weidenden Vieh aber unberührt blieben. Außerdem sprudelte an diesem Ort - an dem heute der Altar der Gnadenkapelle steht - eine frische Quelle aus dem Berg.

Sie gab diesem Ort den Namen Kaltenbrunn.

Der Ritter von Schenkenberg

Um 1272 soll ein Ritter von Schenkenberg hier als Einsiedler Wohnung bezogen haben. Er hatte bei einem Turnier in Mailand seinen Gegner getötet. Zunächst war er ins Gefängnis geworfen worden, wo er voller Reue die Gottesmutter anflehte und tatsächlich erhört und von seinen Ketten befreit wurde. Wie von Maria angewiesen, zog er nach Kaltenbrunn, um hier fortan als Büßer und Einsiedler zu leben. Er soll auch die angeblich 1285 geweihte Steinkapelle anstelle der bereits vorhandenen hölzernen errichtet haben. Um 1300 starb er und fand in Kauns seine letzte Ruhestätte. An der Mauer hinter dem Hochaltar ist die Ursprungslegende in altertümlicher Schreibweise (1596) beurkundet worden.

Der Aufschwung im 15. Jahrhundert

1438 brannte die von Schenkenberg erbaute Gnadenkapelle nieder. Der tatkräftige Einsiedler Johann Stab wurde zum wichtigen Förderer der rasch anwachsenden Wallfahrt. Diözesanbischof Georg von Brixen gewährte 1438 - also noch im gleichen Jahr - einen Ablass für jeden Almosenspender zugunsten der Kapelle, 1443 folgte eine Erneuerung dieses Sammelbriefes, auch von Kardinälen, ja selbst vom Papst Eugen IV. soll Stab Ablässe zugunsten Kaltenbrunns erwirkt haben. Auch an weltliche Herren wandte er sich: er war sogar mit dem König (und späteren Kaiser) Friedrich III. und dem Herzog Sigismund in aussichtsreichem Kontakt über die später allerdings so nicht verwirklichte Absicht, ein prächtiges Marienmünster mit sieben Altären zu bauen (Stiftungsurkunde von 1442). Das großzügige Wohlwollen der beiden Habsburger für Kaltenbrunn führte zu verschiedenen Privilegien und Vergünstigungen, die ein Aufblühen der Wallfahrt und schließlich den spätgotischen Neubau der Kirche Ende des 15. Jahrhunderts ermöglichten. 1502 fand die Weihe des Presbyteriums, 1592 die Weihe des Kirchenschiffes statt. Seit 1627 ist ein eigener Priester in Kaltenbrunn. Die Gemeinde Kaunertal hat das Pfarrhaus (Widum) erbaut. Der Priester Martin Patsch verfasste 1657 Berichte über die Entstehung der Wallfahrtskirche Kaltenbrunn. Alexander Platter ließ 1675 den ersten Kirchenführer drucken.