相傳，凈飯王聽了阿私陀仙人的預言之后，非常擔心悉達多太子長大成人后會放棄王位，出家修行。為此對他進行了嚴格的教育和管制。教給他各種婆羅門知識、禮儀以及“治國”之術；建造幾處宮殿供他單獨居住，禁止他隨便出宮，接觸平民百姓；又于17歲時，替他娶了一個非常漂亮的女子，并選送幾百名藝女，弦歌笙舞，希望以聲色籠絡住他的出家之心。
凈飯王的良苦用心是徒勞的。有一天，佛陀想出城游玩，向凈飯王提出懇請。凈飯王以為太子出城游玩，是去尋求世俗之樂，不會引發(fā)出家之念，便同意了。于是太子命御者套上馬車，出城游覽。據(jù)史書記載，最終引發(fā)悉達多太子義無反顧出家修行念頭的是他的“四門出游”。
據(jù)說，悉達多太子先出東城門，遇上了一位龍鐘老者，白發(fā)蓬亂，牙齒落盡，雙目昏暗，兩耳聵聾，拄杖而行。太子吃了一驚，忙問這是什么人。御者說是老人。太子問：“我是否也會成為老人呢？”御者回答：“不但是你，天下的人都會有老的一天?！碧恿⒓从魫灢粯罚南耄喝松^得真是太快了，就像山水一樣，流過之后便再無回期，真是太苦了啊。太子失去了游玩的雅興，便駕車郁郁返回了宮中，去思考人生易老的問題。

悉達多太子出家與白馬惜別(北魏趙安香造像背陰)

接著出南城門，遇上了一個病人，腹部水腫，形銷骨立，氣喘呻吟躺在道旁。御者告訴太子：“這是病人，已經(jīng)活不了幾天啦！”太子說：“一切都是無常的。我顯然也會這樣，有生病的那天。”心中不快，便駕車回到了宮中。后來，太子再出西城門，看到了一個死人，家屬在邊上號啕悲啼，狀極悲慘。一連目睹人老、病、死的磨難，而且誰都免不了這一遭，悉達多太子開始思索解脫世人痛苦的辦法。又一天，他們出北城門，遇上了一位衣服整齊，手持法器叫比丘的人。比丘自稱一生絕情去欲，心地慈悲，以救度眾生為己任。太子聞之，豁然開朗：“我也要過這樣的生活?！?br>據(jù)傳，釋迦牟尼當時所見到的老人、病人、死人和僧人，都是天神所化，目的是要激發(fā)釋迦牟尼的出家決心。天神成功了！當釋迦牟尼四門游觀之后，便下定了出家修道拜師尋法的決心。他向凈飯王提出請求。凈飯王心中十分不舍，千方百計勸阻他，但太子矢志不渝。一天深夜，他終于聽到了天神的召喚：“菩薩出家時刻已到！”悉達多于是潛出寢宮，喚醒車夫車匿，套上白馬健陟，悄悄來到城門腳下。天神早已來此接應，托起白馬，轉眼便躍到城外，太子讓車匿回宮稟告父王，自己獨自一人出家修道去了。
佛教徒相信，四門游觀的所見所聞，是佛陀出家的直接原因。然而研究表明，四門游觀的故事文學性多于歷史真實性。早期的佛典沒有這方面的記載，極可能是后人為了詮釋佛教的“八苦”教義而臆造出來的。