太子楊勇失寵，隋高祖楊堅(jiān)漸有廢立之意。高祖婉轉(zhuǎn)征詢高颎意見，稱晉王楊廣的妃子曾神靈附體，宣言晉王必得天下，如今該如何處置其事？高颎長跪進(jìn)言：“長幼有序，太子怎宜輕言廢立！”高祖默然無語，這事只得暫時(shí)擱在一邊。獨(dú)孤皇后知道高颎深受高祖寵信，如果不及早除掉他，那么有他從中作梗，廢楊勇、立晉王的圖謀就會(huì)始終難以遂愿。獨(dú)孤氏長于心計(jì)，她很清楚高颎在高祖心目中的地位是如何穩(wěn)固，若從正面指責(zé)高颎，結(jié)果只能實(shí)得其反：高祖非但不會(huì)相信高颎會(huì)有什么過錯(cuò)，還很可能加強(qiáng)對(duì)他的信任。但高祖畢竟習(xí)慣于猜忌，假如有這么一種隱蔽的途徑，給她抓住高颎的把柄，然后借題發(fā)揮，就不怕高祖不乖乖就范。她果然找到了一點(diǎn)可以巧做文章的材料。原來高颎的夫人死后不久，獨(dú)孤氏就勸高祖出面替他續(xù)弦，高祖將皇后的建議轉(zhuǎn)達(dá)高颎。高颎卻流淚陳謝，認(rèn)為自己年事已高，只宜于退朝后吃齋念佛，說到續(xù)娶正室，雖是皇上的一番好意，但他本人確已絕了這方面的念頭。高祖聽他說得這樣堅(jiān)決，自然不便勉強(qiáng)。說來也巧，就在獨(dú)孤皇后廢立太子的緊要關(guān)頭，高颎的愛妾生下了一名男嬰。獨(dú)孤氏得到這個(gè)消息，已經(jīng)想到了整倒高颎的辦法。高祖稍后也知道了高颎暮年添子一事，高興得手舞足蹈，回頭卻見皇后板著一張老臉，似乎有滿肚子的不悅。高祖很奇怪，就問皇后為什么事這樣生氣，皇后就借機(jī)說道：“陛下還那么相信高颎嗎？最初陛下一片好心想為他續(xù)弦，他心里卻裝著愛妾，當(dāng)面欺騙陛下，說什么他年紀(jì)已老，不愿再娶，如今不是連兒子都生下來了？顯見其詭詐用心，連皇上都不放在眼里，陛下要再相信他，那就未免太過寬宏大量了！”這話說到了高祖痛處，他欲廢太子楊勇，原因之一就是對(duì)太子不理正妃卻與其他內(nèi)寵打得火熱不滿，想不到高颎一大把年紀(jì)，也會(huì)有這同樣的毛病！于是高祖也生起氣來，此后就漸漸疏遠(yuǎn)了高颎。高祖議伐遼東，高潁固諫不可，高祖不聽，任命高颎為元帥長史，隨漢王楊諒出征。這次高颎的運(yùn)氣似乎特別不好，仗還未打，部隊(duì)里就因陰雨連綿暴發(fā)了時(shí)疫，只得無功而返。獨(dú)孤皇后馬上又對(duì)高祖說：“高颎本來就不想出征，陛下還強(qiáng)要他去，我早就知道他此去絕對(duì)難以建功的?！备咦嬉幌氩诲e(cuò)，心里對(duì)高颎就又多了幾分看法。而此次征遼東，漢王只不過是個(gè)少年，雖名為元帥，一應(yīng)軍機(jī)大事實(shí)由高颎專管，這也是高祖事先就安排好的。高颎卻過于認(rèn)真，以為自己至公無私，只要保證不負(fù)高祖重托就行，所以楊諒的許多建議他都認(rèn)為過于幼稚而未予采用。楊諒年少氣盛，對(duì)高颎非常不滿，回來就向皇后哭訴說他幸而沒有被高颎殺掉。這話等于是火上澆油，楊堅(jiān)不聽則罷，一聽之后只覺得高颎簡直太過放肆，也就很想殺一殺他的威風(fēng)。恰好不久以后上柱國王世積因罪被殺，高颎竟也被別人抹上了黑灰。高祖下令治罪，免去了高颎的官職，仍保留其國公的爵位，放他回第閑居。不久，又以其他莫須有的罪名將高颎削職為民。獨(dú)孤皇后暗暗高興，高颎這塊擋在她廢立太子之路上的最大的石頭終于被她搬走了！ (《隋書·高颎傳》)