地質(zhì)學(xué)的考察表明，寒武紀(jì)以前衡山所在地區(qū)是一個指狀海灣。后經(jīng)多年地臺活化和火成巖活動，至老第三紀(jì)末葉(約三百萬年前)在雷霆萬鈞的喜馬拉雅造山運動的影響下，衡山便突兀而起。然而，在古老的民間傳說中，衡山卻是由盤古的左臂化成的。
盤古左臂化衡山
盤古是傳說中的人類始祖?！端囄念惥邸肪硪灰度鍤v紀(jì)》:“天地渾沌如雞子，盤古生其中。萬八千歲，天地開辟，陽清為天，陰濁為地。盤古在其中，一日九變，神于天，圣于地。天日高一丈，地日厚一丈，盤古日長一丈，如此萬八千歲。天數(shù)極高，地數(shù)極深，盤古極長。后乃有三皇?！鼻羼R 《繹史》卷一引《五運歷年紀(jì)》:“首生盤古，垂死化身，氣成風(fēng)云，聲為雷霆，左眼為日，右眼為月，四肢五體，為四極五岳，血液為江河，筋脈為地理，肌肉為田土，發(fā)髭為星辰，皮毛為草木，齒骨為金石，精髓為珠玉，汗流為雨澤，身之諸蟲，因風(fēng)所感，化為黎甿。”關(guān)于盤古五體如何化為五岳，民間有更為具體生動的傳說。相傳當(dāng)年黃帝曾問起衡山的來歷，祝融答道：盤古死時頭東腳西地躺在中原大地上。頭部高高隆起，成了巍峨高聳的東岳泰山；腳趾直伸指天，成了奇斂挺拔的西岳華山；腹部向上鼓起，成了勢如臥龍的中岳嵩山，右臂卷曲，成了連綿橫亙的北岳恒山；左臂斜張，成了重巒疊嶂的南岳衡山。
神農(nóng)殉職降真峰
傳說中的神農(nóng)即炎帝。他不僅是農(nóng)業(yè)之始祖，而且為醫(yī)藥之祖。《淮南子·修務(wù)訓(xùn)》云： “神農(nóng)嘗百草之滋味，一日而遇七十毒?！睍x干寶《搜神記》卷一云：“神農(nóng)以赭鞭鞭百草，盡知其平毒寒溫之性，臭味所主，以播百谷?！?br>相傳神農(nóng)帶著大臣赤驥和女兒女娃來到衡山之前，已含辛茹苦外出兩年。在此期間嘗過幾百種藥物，包括蝎子、蜈蚣、蛇和許多毒草。數(shù)次中毒均找到了解救之藥。這年春天到衡山，吃了一種線蟲(一說百足蟲),中毒太深，加之年老體邁，又長時間跋涉勞累，便一命嗚呼。正在赤驥、女娃慟哭之際，天上忽飄來一朵祥云。原來是元始真君為女娃哭聲所感動而特來救助。他向神農(nóng)身上噴了一口水后，對女娃說：神農(nóng)肉體可保住九十九天不腐，這期間若得到東海龍宮庭院的還魂草，即可起死回生。女娃歷經(jīng)千辛萬苦，奔波四十八天趕到東海邊，喉嚨喊出血來方見到龍王。但龍王不僅不給還魂草，還命人將女娃淹死。女娃死后變成白嘴紅爪、頭有花紋的精衛(wèi)鳥，飛到西山，決心用樹枝填平東海，把龍王干死。東海難平，精衛(wèi)即始終不止。九十九天過去了，神農(nóng)尸體腐爛，葬于衡山東南的酃縣。赤驥把幾年考察的成果整理成《神農(nóng)本草》,成為中國最古老的醫(yī)藥志。神農(nóng)遇難、元始真君降臨的這個山峰，以后便被喚作“降真峰”。人們說，至今還可以看到山頂上有祥云在飄繞呢。

湖南酃縣炎帝陵

對于這個傳說中神農(nóng)中毒身亡的真實性，后人曾有懷疑。如明周游《開辟衍繹》第十八回王子承“釋疑”云：“后世傳言神農(nóng)乃玲瓏玉體，能見其肺肝五臟，此實事也?！珎餮椎蹏L諸藥，中毒者能解，至嘗百足蟲入腹，一足成一蟲，遂致千變?nèi)f化，炎帝不能解其毒而致死，萬無是理，此訛傳耳?！逼鋵崳瑐髡f即是傳而說之，不必拘泥。
在酃縣城西南有炎帝陵，傳說炎帝“崩葬”于此。
祝融榮任南岳神
關(guān)于祝融，古籍中有許多記載。有說他為炎帝之裔(《山海經(jīng)·海內(nèi)經(jīng)》);有說他為黃帝之裔(《海內(nèi)經(jīng)》、《大荒西經(jīng)》);有說他為傳說中“以火施化”的“赤帝”(羅泌：《路史》);有說他為黃帝六相之一，因“祝融辨乎南方，故使為司徒”(《管子·五行篇》);亦有說他名重黎，“為帝嚳高辛氏火正(即火官),甚有功，能光融天下，帝嚳命曰‘祝融’”;有說共工與祝融戰(zhàn)，不勝而怒觸不周山……從以上諸說看，傳說中的祝融并非一人，但有一個共同點，就是與“火”,與南方有關(guān)。南岳地區(qū)有關(guān)傳說也不例外。
一說云，在天地才開辟不久的時代，天地間相隔不遠(yuǎn)，且有路可通。高陽氏繼黃帝以后掌管天地事務(wù)。他把天上的事情交給了自己的大兒子重掌管，把地上的事情交給了二兒子黎掌管。重和黎皆德才雙全。重把天上的火種送給黎，讓弟弟教人熟食照明，黎則教人用火烤豬羊祭天。為此，高陽氏很滿意，就封重為祝神，黎為融神，前者取偉大之意，后者取光明之意。因重、黎合作親密，后人便將二人視同一人，凡名“重黎”,神號“祝融”。后共工氏造反，重、黎在平叛中立下赫赫戰(zhàn)功。不久高陽氏歿，繼位的高辛氏因懼怕重、黎威望而找借口殺之。為安撫人心，他將重、黎的封號同時封給了他們的弟弟吳回，但收回了管天上事務(wù)的權(quán)利，只讓管人間火種。吳回忠厚憨直，受封后就老老實實地在南岳做起他的火神爺來了。
另一說云，黎為一個氏族首領(lǐng)的兒子，因發(fā)明石頭取火的方法而被黃帝封為火正官，并獲“祝融”的封號。后蚩尤入侵中原，祝融獻計用火攻而使黃帝大獲全勝。班師回朝途經(jīng)云夢澤時，黃帝又問及許多有關(guān)南方事務(wù)，祝融對答如流。隊伍駐扎衡山，在眾人踏著黃帝自編“咸池之樂”的拍子，和黃帝的妃子嫘祖一起起舞歡慶勝利之時，黃帝封祝融鎮(zhèn)守南方。從此祝融就留住衡山，以火施化，為民造福，被百姓尊為“赤帝”。不久，共工因爭帝位而怒觸不周山。一時間，“天柱折，地維絕。天傾西北，……地不滿東南”。在此危急之時，祝融以身柱天。故后人有詩云：“地涌一峰秀，高撐南楚天?！弊Ｈ谠谀显阑畹揭话俣鄽q才死去。百姓為紀(jì)念他，將他生前居住的衡山主峰叫做祝融峰，將埋葬他的山峰稱為赤帝峰，并在祝融峰頂修建了祝融殿。
青山猶憶堯舜禹
歷史進入原始公社后期，華夏出了三位著名的賢君堯、舜、禹。
相傳堯帝勤于政事，曾南巡到衡山狩獵、祭祀。舜繼位后，南巡更勤。因見南岳風(fēng)景秀麗，曾將丹邱國進獻的瑪瑙甕移置南岳紫蓋峰頂，并設(shè)寶露壇。據(jù)說此甕可容八斗，以應(yīng)驗八方。舜每次南巡即在寶露壇上向八方部落首領(lǐng)賞賜露泉，以使普天下都得到他的恩澤。后來此甕隨舜又遷至零陵。漢時東方朔曾作《寶甕銘》以志其事。以后便不知去向。今衡山紫蓋峰上猶有寶露壇遺址。安上峰一帶亦有舜廟、舜洞、舜柏、舜井、舜溪、舜樟等古跡。
禹和衡山關(guān)系更密切。相傳舜時神州洪水泛濫，舜命鯀治水。鯀勞而無功被處以極刑。舜得知鯀之子禹有才干，便授命其接替父職。禹接到任務(wù)后，起初仍用父親的堵塞方法，結(jié)果仍無成效。一次，他偶然從先賢經(jīng)典《皇帝中經(jīng)》中得知，“在南岳衡山峰頂上，有金簡玉書，內(nèi)有治水之策”。于是，他不辭辛勞來到南岳，登上一座山峰，殺了一匹白馬祭告天地，祈求賜書。這座山頭便因此得名“白馬峰”、“殺馬沖”。他的虔誠感動了天地。一位自稱“玄夷蒼水使者”的異人于他夢中授以求書之法。他遵囑于庚子日前三天爬上南天門，在皇帝巖下一石洞中齋戒三天。然后登上皇帝巖上面的山峰。果見峰頂有塊巨石，石上長有一株紅光艷艷的珊瑚狀大赤芝。掀開巨石，一本金簡為頁、青玉為字的寶書赫然在目！禹細(xì)讀金簡玉書，得疏導(dǎo)洪水之法，于是“披九山，通九澤，決九河，定九州”。因其功成，舜禪位于他。人們念其功績，將其求得寶書之山名曰“金簡峰”,將峰頂那塊長有芙靈芝的鎮(zhèn)書之石喚作“大禹巖”、“光明臺”、“圣燈巖”,將鞭蓉峰大禹扎營安寨處稱為“禹王城”,并在岣嶁峰上建禹王廟，豎禹王碑，碑上用蝌蚪文銘記大禹治水業(yè)績。因碑上蝌蚪文難以辨認(rèn)，后世為此打了不少筆墨官司。
另外，據(jù)說禹在求書期間，還在祝融峰前種了一棵梨樹，在山下建了遙祭舜帝的冷清宮。