Šīs vietas vēsture ir ļoti tāla, 1991.-1993. gadā veiktie arheoloģiskie izrakumi apstiprināja zemgaļu vai žemaišu koka pils esamību Jurgaiču pilskalnā. Lietuvas krusta karu laikā 1348. gadā krustneši pili nodedzināja, tikai 15. gadsimtā žemaiši atteicās no savas tradicionālās reliģijas un pieņēma katolicismu.
Nav precīzi noskaidrojams, kad te parādījās pirmais krusts, taču uzskata, ka tas ir saistīts ar Lietuvā izplatīto tradīciju tos uzlikt ceļa malās un skaistajās vietās. Vēstures hronikās kalns pirmo reizi pieminēts 1850. gadā,[1] un tiek uzskatīts, ka pats pirmais krusts uzlikts 1831. gadā pēc lietuviešu un poļu Novembra sacelšanās apspiešanas.
1900. gadā, kad krusti oficiāli tika skaitīti pirmo reizi, to bija tikai 130. Šobrīd to skaits tiek lēsts krietni virs 200 tūkstošiem, taču saskaitīt tos ir ārkārtīgi grūti, jo uz daudziem lielajiem krustiem ir sakārti vairāki desmiti mazāku krustiņu.
Pēc Lietuvas PSR Komunistiskās partijas Centrālkomitejas lēmuma 1961. gada 5. aprīlī ar buldozeriem un uguni tika iznīcināti 1500 krustu. Tas pats regulāri tika darīts arī pēc Roma Kalanta pašsadedzināšanās un disidentu kustības pieauguma 1973., 1974. un 1975. gadā, mēģinot kalnu arī appludināt, taču pēc visiem šiem grautiņiem krustu kļuva aizvien vairāk un vairāk. Lai arī to vairākus gadus stingri apsargāja, cilvēki vienalga naktīs atkal un atkal sanesa jaunus krustus.
Arī 2007. gada janvārī kalnā notikušais ugunsgrēks neko nespēja nodarīt – jau vasarā izdegusī vieta bija “aizaudzēta” ar jauniem krustiem. Lielākais notikums kalna vēsturē ir Romas pāvesta Jāņa Pāvila II apmeklējums 1993. gadā. Gadu vēlāk te uzstādīja viņa dāvinājumu Krustu kalnam.
