早在遠(yuǎn)古時代，衡山已被抹上濃厚的文化色彩。相傳黃帝定五岳，衡山為南岳。這里有許多關(guān)于黃帝、炎帝的傳說。據(jù)說夏禹導(dǎo)水岷山之陽至衡山，還在岣嶁峰得金簡玉牒治水之書，后人立有神禹碑以示紀(jì)念。周武王受命辨九州之國，正南稱荊州，其山鎮(zhèn)稱衡?！抖Y記· 祭法》:“山林川谷丘陵，能出云，為風(fēng)雨，見怪物，皆曰神。”清代以前的歷代統(tǒng)治者每年都有祭山神的活動，南岳衡山歷來為享祭之山?，F(xiàn)存的南岳大廟，即唐武德年間高祖李淵遣人修建的山祠，后經(jīng)歷代修建，至清光緒八年形成現(xiàn)在的規(guī)模。它是湖南最大的古建筑，位于衡山腳下，坐北向南。有正殿、寢宮、御書樓、盤龍亭等。占地九萬八千五百平方米。整個建筑群布局嚴(yán)謹(jǐn)、宏偉壯麗。正殿中的七十二根大柱(象征南岳七十二峰),由石鑿成，柱頭還有精美的雕刻。大殿四周的石欄上，還有一百四十四塊漢白玉浮雕，表現(xiàn)的是《水經(jīng)注》中的典故。周圍環(huán)境極佳，據(jù)史載，通向岳廟的道路綿亙數(shù)十里，“夾道皆合抱松桂相間，連云蔽日，人行空翠中，而秋來香聞十里，計其數(shù)一萬七千株”。岳廟正所謂“千杉翠擁，萬瓦煙生”。
衡山是歷代知識分子游歷、講學(xué)、休憩和隱居的絕好去處。唐代的韓愈、柳宗元都在此逗留過，李白、杜甫、王維、劉禹錫、陳子昂、韋應(yīng)物、賈島、王勃、宋之問、張九齡等人都來過這里；宋代歐陽修、朱熹、張栻等都在此游歷和生活過。他們?yōu)樯酱ㄋ兆恚粝略S多動人的篇章。李白認(rèn)為衡山是“江南之仙山”,具有“黃鶴之英氣”。王維在《方尊師歸南岳》中描繪道：“山壓天中半天上，洞穿江底出江南。瀑布松杉常帶雨，夕陽蒼翠忽成嵐?！表n愈在《謁南岳廟遂宿岳寺題門樓》詩中寫道：“噴云泄霧藏半腹，雖有絕頂誰能窮。我來正值秋雨節(jié)，陰風(fēng)晦昧無清風(fēng)。潛心默禱若有應(yīng)，豈非正直能感通。須臾靜掃眾峰出，仰見突兀撐青空。紫蓋連延接天柱，石廩騰擲堆祝融。森然魄動下馬拜，松柏一徑趨靈空?！焙馍介_云，從此被傳為佳話。后人為紀(jì)念他，還在衡山縣城西門高臺上建開云樓，其嶺稱開云嶺。鐘靈山川，似乎可以予人以鐘靈之氣，許多文人學(xué)士都看中這塊園地，在此講學(xué)和研討學(xué)問。見于記載的著名書院有鄴侯書院、石鼓書院、胡安國書院、周濂溪書院、胡銓書院、南軒書院、甘泉書院、白沙書院、鄒東廓書院、集賢書院、文昌書院等。鄴侯書院即南岳書院，最先系唐朝宰相李泌子李繁為紀(jì)念其父曾在此隱居而建，位于集賢峰下。相傳李泌、張九齡曾在此論道。石鼓書院位于回雁峰下，初建于唐朝，宋代重建，景祜年間宋真宗賜額并學(xué)田，與唯陽、岳麓、白鹿合稱為四大書院。許多著名的學(xué)者在此留下他們的足跡。創(chuàng)辦周濂溪書院的周敦頤(1017—1073),系北宋著名哲學(xué)家，其學(xué)說對后世影響很大。創(chuàng)辦胡安國書院的胡安國(1074—1138)系南宋著名經(jīng)學(xué)家，他的《春秋傳》明初被定為科舉取士的教科書。創(chuàng)辦胡銓書院的胡銓(1102—1180)系南宋學(xué)者。創(chuàng)辦南軒書院的張栻(1133—1180)也是南宋著名學(xué)者，和朱熹、呂祖謙齊名，時稱“東南三賢”。建甘泉書院的是明代著名學(xué)者湛若水(1466—1560),與王陽明為友。以其號相稱白沙書院的陳獻(xiàn)章也是明代著名學(xué)者。建鄒東廓書院的鄒守益(1491—1562),初講學(xué)于石鼓書院，從學(xué)者甚眾。衡山可說也是儒學(xué)延播鼎盛之山。
不僅如此，衡山還被稱為道教的洞天福地，道教甚至早于佛教在此傳播，但基本上也是始于晉，發(fā)展于南朝，盛于唐。見于記載的道觀有數(shù)十處之多。其中有，建于晉代的衡岳觀、元陽宮、洞靈宮、招仙觀、九真觀；建于南朝的中宮、北帝院、九仙宮、西臺觀、西靈觀；建于唐朝的紫蓋院、圣壽觀、田真院、尋真觀、洞陽宮、紫虛閣等?，F(xiàn)存的水簾洞古稱朱陵洞，傳為朱陵大帝所居，道教三十六洞天福地，此為第三。洞在紫蓋峰下，上有谷地，下臨絕壁，中有水池。水自谷口奔瀉而下，形成瀑布，甚為壯觀。張居正詩“誤疑瀛海翻瓊浪，莫擬銀河倒碧流。自是湘妃深隱處，水晶簾掛五云頭”及畢田詩“洞門千尺掛飛流，玉碎珠簾冷噴秋”即詠此。水簾洞之奇也為衡山一絕。衡山自古流傳許多道教修煉成仙的傳說，為它蒙上一層神秘的色彩。
從全國范圍看，佛、道教都盛行于唐代，但因李唐王朝尊李耳為祖，對道教更為推崇，故道教的發(fā)展應(yīng)具備更為有利的條件。而事實(shí)上道教的影響遠(yuǎn)不及佛教。據(jù)唐末道士杜光庭所作《歷代崇道記》,道士共一萬五千余人，不及僧人二十分之一。據(jù)衡岳有記載的寺觀來看，道教的觀、宮不及佛教寺庵的三分之一。一些寺院是原道觀改建而成。如柚峰西北的西觀臺，相傳最早為周穆王所建，陳代改為太初觀，后改為寺。又如光天觀，系道教二十二光天壇福地，大業(yè)中改觀為寺，即上封寺。西有青玉壇福地，佛教改名為羅漢行道壇。靈峰寺建于五代天福年間，其西北有王母殿基，下有石刻真人像，原當(dāng)系道教宮觀。從一定角度上可看出佛長道消之勢。在衡岳，佛、道的分布大體是：道教宮觀多集中在山之東北；而佛教寺院則多集中在山之中、西部。也有佛、道共處于一地的記載，如《南岳總勝集》載：“北有仰天臺神廟尼寺基，亦有庵宇，僧道居之?！?白馬峰“上有庵宇，僧道居之”。
儒、釋、道三家都在衡岳蓬勃發(fā)展，它們在斗爭中相互影響、相互吸收，形成你中有我，我中有你。佛教作為外來文化，要在中國這塊土地上扎下根來，就必須適應(yīng)中國的國情，向中國的傳統(tǒng)文化靠攏。無數(shù)佛教學(xué)者在自覺不自覺地進(jìn)行著這項(xiàng)工作。魏晉時期，佛教學(xué)者多用老莊玄學(xué)思想來解釋佛教教義，以迎合上層社會的需要。南北朝時期，南岳高僧慧思在此基礎(chǔ)上，還吸收中國道教的神仙方術(shù)思想。例如在他的《誓愿文》中曾發(fā)愿“成就五通神仙”以期長生。至于后來創(chuàng)立的禪宗，則完全是佛教中國化的產(chǎn)物了。莊子的虛無主義思想和對精神自由的執(zhí)著追求、玄學(xué)家的得意忘言理論以及曠達(dá)放蕩、純?nèi)巫匀?、蔑視禮法的性格，以及儒家人皆可以為堯舜的性善論都對禪宗的形成產(chǎn)生了重大的影響。南岳高僧懷讓對南宗禪的創(chuàng)立及其在南岳的傳播作出了自己的貢獻(xiàn)。
在道教對佛教產(chǎn)生影響的同時，佛教對道教也同樣產(chǎn)生著重要的影響。南北朝時期，道教著作中有許多宣傳神仙長生的思想，而到隋唐時期則轉(zhuǎn)向唯心主義理論的研究，這同佛教理論的滲透不無關(guān)系。唐代曾在南岳活動，并對南岳道教產(chǎn)生重要影響的道教大師司馬承禎倡導(dǎo)五戒、八戒、十戒。這些戒律是在吸取了佛教有關(guān)戒律的基礎(chǔ)上制定出來的。至于他提出修煉主要在于修心，修心在于主靜，以及“坐忘”、“靜則生慧”等主張，顯然源于佛教的“三學(xué)”。