Einst diente der Herrensitz "Kalasperg" zur Beaufsichtigung bei der Verladung und Versendung von Salz. Der heute geprägte Name "Schloss Kahlsperg" leitet sich vom Geschlecht der "Chalasperger-Chalhochsperger-Kalchsberger" ab, die von 1250 bis ins 15. Jahrhundert in salzburgerischen Urkunden aufscheinen. Danach wechselte das Anwesen seine Besitzer, bis das Schloss 1952 von den Halleiner Schwestern Franziskanerinnen, dem heutigen Rechtsträger, erworben wurde.
Seine Aufgabe und Bestimmung fand das gesegnete Anwesen 1968 mit der Einweihung durch den Erzbischof Dr. Dr. Andreas Rohracher.