按照密教自身的說(shuō)法，密教的歷史與佛教同樣久遠(yuǎn)。傳說(shuō)，它是由法身佛大日如來(lái)直接宣化的，大日如來(lái)傳給金剛薩埵。金剛薩埵又名金剛手、執(zhí)金剛、持金剛等，是大日如來(lái)的部屬，他親受大日如來(lái)的教誨而結(jié)集經(jīng)典，傳持密乘，為密教傳法體系的第二祖。此后，密教未獲傳人，密教典籍封存在南天竺鐵塔之中。佛陀滅后八百年，龍樹出世，他不僅弘揚(yáng)大乘佛教中觀思想，而且開啟南天竺鐵塔，見到了金剛薩埵，從金剛薩埵處親受密教，請(qǐng)出許多密教經(jīng)典，成為密教的第三祖。龍樹傳給弟子龍智，為第四祖。傳說(shuō)龍智活了七百歲，后傳法給金剛智，是為第五祖。金剛智是唐開元年間來(lái)華的“開元三大士”之一，他生活的年代是公元669至741年，又被尊為漢地密宗的初祖。
當(dāng)然，這是漢地佛教的說(shuō)法。西藏密教則認(rèn)為，龍樹護(hù)持教法時(shí)，密教的方法就已流行。當(dāng)時(shí)，歐提毗舍國(guó)有紋阇王，他與部屬們修成了持明身。西方摩臘婆國(guó)兜陀訶梨地方有菩至提婆王，也與部屬們獲得了隱身等各種密教的成就。龍樹本人也是密教大師，他請(qǐng)出多種陀羅尼咒，在南方曾與兩名婆羅門摩度和須缽羅摩度進(jìn)行斗智。龍樹教他們明咒，使前者得到“妙音天女成就”,后者得到“財(cái)流天女成就”。龍樹有位朋友叫婆羅流支，在摩揭陀?xùn)|邊的羅羅國(guó)念誦觀音菩薩的陀羅尼咒十二年，最后獲得藥丸等八種成就，后去西方傳播密教的修持方法。龍樹的弟子龍智，又叫龍覺(jué)，出生于東方潘迦羅國(guó)的婆羅門家庭，早年生活貧困，因龍樹的傾囊接濟(jì)，倍生信心，出家做了龍樹的弟子。龍樹去世后，他住在吉祥山山壁的一個(gè)深窟中，專心修觀十二年，獲得大手印的殊勝成就。自此之外，大乘佛教的許多著名論師都修持了密教。但自大乘教法流布以來(lái)，雖然修行密教的人有千千萬(wàn)萬(wàn)，由于他們的修行非常秘密，人們并不知道他們修的是密教。后來(lái)到了提婆波羅王父子時(shí)代，密教才公開流行起來(lái)。
考據(jù)以上的種種傳說(shuō)，雖多有荒誕不經(jīng)之詞，卻反映了密教的一些歷史情況，即密教的思想和修持方法確實(shí)有著悠久的歷史。佛陀在世時(shí)，各種方術(shù)神咒雖是他反對(duì)的東西，卻沒(méi)有杜絕使用。在初期佛教經(jīng)典《阿含經(jīng)》中，佛陀不時(shí)使用一些神秘咒語(yǔ)。后到部派佛教、大乘佛教時(shí)期，咒語(yǔ)、密儀的采用逐漸增多。尤其是大乘佛教后期，許多經(jīng)典都被加上了咒語(yǔ)的內(nèi)容，如《般若心經(jīng)》出現(xiàn)了“即說(shuō)咒曰”;《法華經(jīng)》出現(xiàn)了《陀羅尼品》;《仁王經(jīng)》、《理趣經(jīng)》等原本無(wú)咒的經(jīng)典，后來(lái)也增加了密咒內(nèi)容。這足以說(shuō)明，密教的修持方法在印度佛教史上經(jīng)歷了一個(gè)由隱而顯，由疏散而集中，由零碎而統(tǒng)一的發(fā)展過(guò)程，并終于在公元七世紀(jì)后成為獨(dú)立的思想體系，出現(xiàn)了《大日經(jīng)》、《金剛頂經(jīng)》等密教經(jīng)典，取得了印度佛教的主導(dǎo)地位。
密教的興起，其原因可說(shuō)是大乘佛教思想發(fā)展的必然產(chǎn)物。佛教發(fā)展到大乘階段，教理上可以說(shuō)是達(dá)到了頂峰。中觀學(xué)派以空為世界萬(wàn)物的最高真理，認(rèn)為它超越一切語(yǔ)言分別，沒(méi)有一切差別特性；瑜伽行派雖然把世界萬(wàn)物歸結(jié)為“識(shí)”的變現(xiàn)，但對(duì)所變事物的性質(zhì)，則通過(guò)“三自性”、“三無(wú)性”的學(xué)說(shuō)而歸結(jié)為空無(wú)。所以，無(wú)論是中觀，還是唯識(shí)，其教理的極處可說(shuō)是完全相同，都是要在超越事物個(gè)性特征、超越人類語(yǔ)言思維的境界上把握佛教的絕對(duì)真理。這就造成了與修行和傳教直接相關(guān)的一些現(xiàn)實(shí)問(wèn)題。問(wèn)題之一是真理何處存在及其語(yǔ)言如何表達(dá)。按照大乘佛教的說(shuō)法，空的真理超越語(yǔ)言和思維，人的認(rèn)識(shí)活動(dòng)不能認(rèn)識(shí)真理，卻為真理的顯現(xiàn)帶來(lái)了障礙和束約，阻止了它的自由表達(dá)。人的日常語(yǔ)言所表達(dá)的不過(guò)是一些世俗偏見、錯(cuò)誤理解，而不是真理，這樣，神秘主義就成了佛教徒認(rèn)識(shí)佛法真理的唯一選擇。既然理性思維不能顯證真理，他們就只能采用瑜伽的悟證，既然語(yǔ)言不能表達(dá)真理，他們就只能使用神秘的咒語(yǔ)、手印和圖像。所以，大乘教理的發(fā)展，實(shí)際上為密教的修道方法提供了理論依據(jù)，暗示出密教方法的可能性與必然性。大乘佛教發(fā)展造成的另一問(wèn)題，是眾生與最高境界之間的關(guān)系問(wèn)題。按照大乘教理，空或無(wú)是一種最高境界，它超越一切差別，渾然一體。既然超越一切差別，就意味著理想與現(xiàn)實(shí)、最高境界與蕓蕓眾生之間也不能有任何差別，否則，最高境界就不是超越一切差別的。這種思想，勢(shì)必導(dǎo)致密教“即身成佛”理論的提出。所以，密教的興起，無(wú)論是教理方面還是修持方法方面，都與大乘佛教的發(fā)展有必然聯(lián)系。佛教自身將密教的歷史追溯到龍樹甚至更早，并非毫無(wú)根據(jù)。