此語的來歷同北宋詩人黃庭堅(jiān)有關(guān)。據(jù)《明一統(tǒng)志》載： 宋代黃庭堅(jiān)被謫到戎州(今四川宜賓市)，嘗曰：“安得奇士盡刻杜甫兩川及夔州詩，使大雅之音復(fù)盈三巴之耳哉?！彼拇織钏芈牭竭@個(gè)意見，特在四川眉山縣之南建堂，請(qǐng)黃庭堅(jiān)手書杜甫在四川作的全部詩，由著名雕刻家雕在石碑上。元符三年(1100年)竣工之后，黃庭堅(jiān)題名此屋為“大雅堂”，并作《大雅堂記》以記其事。于是“大雅之堂”的名聲廣為流傳開來。

后來，人們就以能否登“大雅之堂”作為衡量、區(qū)別文學(xué)藝術(shù)雅正或粗俗的標(biāo)準(zhǔn)。