最早把揚雄的“書，心畫也”語用于評述書法的是宋人朱長文。他在《續(xù)書斷》中說：“其(指顏真卿)發(fā)于筆翰，則剛毅雄特，體嚴法備，如忠臣義士，正色立朝，臨大節(jié)而不可奪也。揚子云以書為心畫，于魯公信矣?！倍鴵P雄此語的原義，并非是講書法的。
此語出自《法言·問神》?！把圆荒苓_其心，書不能達其言，難矣哉！唯圣人得言之解，得書之體，白日以照之，江河以滌之，灝灝乎其莫之御也。面相之，辭相適，捈中心之所欲，通諸人之嚍嚍者，莫如言。彌綸天下事，記久明遠，著古昔之???,傳千里之忞忞者，莫如書。故言，心聲也；書，心畫也；聲畫形，君子小人見矣。聲畫者，君子小人之所以動情乎！”這里的“言”指口頭語言，“書”指書面語言。
“書”,西漢之前可能并不包含書法、書體的意思?！蹲髠鳌贰皶x靈公不君”篇里曾用“書法”語，“孔子曰：‘董狐，古之良史也，書法不隱。趙盾，古之良大夫也，為法受惡。惜也，越竟乃免?！边@里的“書”是指記載、寫史，“法”是原則?！吨芏Y·地官·保氏》中說：“養(yǎng)國子以道，乃教之六藝：一曰五禮，二曰六樂，三曰五射，四曰五馭，五曰六書，六曰九數(shù)。”作為六藝之一的“書”是指識字教育，包含著寫的意思，但不是書法藝術。至東漢，“書”才有書法藝術的含義，《說文解字》里說“篆，引書也”,“自爾秦書有八體……”。趙壹 《非草書》一篇，更能說明作為書法含義的 “書”,已十分明確了。
“書，心畫也”作為書面語言表達的要義，何以會轉(zhuǎn)換為書法美學觀的呢？書面語言當然離不開書寫，而士人的書寫往往是經(jīng)過書法訓練的書寫，書法是士人的基本素養(yǎng)之一。所以，書法藝術是跟書面語言的表達緊緊聯(lián)在一起的，從某種程度上講書法是書面語言表達的物質(zhì)外殼，書面語言是書法藝術的內(nèi)容之一。書法和書面語言不可分離的一體關系，是“書，心畫也”語意轉(zhuǎn)換的關鍵原因。此語意轉(zhuǎn)換的觀念原因是一個 “心”字。
“心”和 “言”、“書”三者的關系是古人十分關切的課題。莊子認為 “言”、“書”是無法準確表達 “心”和“意”的，只能以 “心”會 “心”、以 “意”會 “意”。他在 《天道》篇說：“世之所貴道者書也，書不過語，語有貴也。語之所貴者意也，意有所隨。意之所隨者，不可以言傳也，而世因貴言傳書。世雖貴之，我猶不足貴也，為其貴非其貴也。故視而可見者，形與色也；聽而可聞者，名與聲也。悲夫，世人以形色名聲為足以得彼之情！夫形色名聲果不足以得彼之情，則知者不言，言者不知，而世豈識之哉！”孟子的觀點與此相反，提出了“知言養(yǎng)氣”說，認為通過 “養(yǎng)吾浩然之氣”可以達到 “知言”的程度：“诐辭知其所蔽，淫辭知其所陷，邪辭知其所離，遁辭知其所窮”。( 《孟子·公孫丑上》)
跟孔子儒學審美觀有密切關系的《周易》、《樂記》中，也講到 “心”和 “言”、“書”的命題。“子曰：書不盡言，言不盡意。然則，圣人之意，其不可見乎？子曰：圣人立象以盡意，設卦以盡情偽，系辭焉以盡其言，變而通之以盡利，鼓之舞之以盡神?！?《周易 ·系辭上》)“凡音之起，由人心生也。人心之動，物使之然也。感于物而動，故形于聲。聲相應，故生變，變成方，謂之音?！?《樂記·樂本》)揚雄的美學思想繼承了這一儒學淵源，以 “言”“書”“聲”“畫”為 “心”之 “形”,由形而可見君子小人之心。