劉驁從鴻嘉(公元前20—前17年)以后，對內(nèi)宮諸姬妾關(guān)注得要多些。有個在“倢伃”身邊侍奉的女子叫李平，因受到倢伃的寵愛，也立為倢伃。劉驁說：“當初皇后也出身微賤。”就賜李平姓衛(wèi)，這就是所說的衛(wèi)倢伃。后來趙飛燕姐妹從微賤慢慢富貴起來，她們無視禮制，慢慢博得并獨享劉驁的寵愛。于是班倢伃和許皇后都失寵，見劉驁一面越來越難。鴻嘉三年，即公元前17年，趙飛燕誣告許皇后、班倢伃詛咒后宮，及于皇上。許皇后被廢棄。有關(guān)方面審問班倢伃，班倢伃回答：“我聽說‘死生有命，富貴在天’。規(guī)規(guī)矩矩做人還未蒙受幸福，為非作歹還能有什么指望？假使鬼神有知，不會接受冒犯鬼神的話；如果無知，胡言亂語又有什么作用？ 所以我根本不會干那樣的事！”劉驁認為她回答得很好，憐憫她，賞賜黃金百斤。