中國(guó)自西周起就開(kāi)始有學(xué)校了，《禮制·王制》曰：“天子命之教，然后為學(xué)。小學(xué)在公宮南之左，大學(xué)在郊。天子曰辟雍，諸侯曰泮宮?！敝兄轂橹T侯國(guó)衛(wèi)、宋、鄭、周王室都城的所在地，故在中州的學(xué)校很多。如《左傳》襄公三十一年記載：鄭國(guó)有鄉(xiāng)校?！班嵢擞斡卩l(xiāng)校以論執(zhí)政。然明謂子產(chǎn)曰：‘毀鄉(xiāng)校何如？’子產(chǎn)曰：‘何為？ 夫人朝夕退而游焉，以議執(zhí)政之善否。其所善者，吾則行之；其所惡者，吾則改之，是吾師也，若之何毀之？’”鄉(xiāng)校，鄭玄注曰：“鄉(xiāng)之學(xué)校。”這里所說(shuō)的學(xué)校是國(guó)人學(xué)習(xí)的場(chǎng)所，既學(xué)習(xí)，也議論朝政。東周洛陽(yáng)王城中的學(xué)校也分為國(guó)學(xué)(周王室的官學(xué))和鄉(xiāng)學(xué)(地方官學(xué))兩種。國(guó)學(xué)又分為大學(xué)和小學(xué)。
東漢時(shí)期，京都洛陽(yáng)設(shè)有太學(xué)，各州、郡亦設(shè)立地方學(xué)校。東漢順帝皇后梁妠臨朝執(zhí)政時(shí)期，令各州、郡官員送子弟到京師讀書(shū)，每歲考試，按成績(jī)優(yōu)劣授以官職，并進(jìn)行封賞。東漢士風(fēng)大盛。京師太學(xué)的學(xué)生最多達(dá)三萬(wàn)人。這種以考核成績(jī)而晉官的制度，雖然沒(méi)有代替過(guò)去的推薦制，但也是一個(gè)進(jìn)步。梁妠建立國(guó)學(xué)，以考試成績(jī)優(yōu)劣任官，應(yīng)視為科舉制度的先導(dǎo)。
唐玄宗李隆基在洛陽(yáng)設(shè)立麗正書(shū)院，著名學(xué)者韓愈曾在這里從事教學(xué)。
宋代東京開(kāi)封設(shè)立國(guó)子監(jiān)。國(guó)子監(jiān)中設(shè)置教授儒家經(jīng)典的國(guó)子學(xué)、太學(xué)，還有武學(xué)、算學(xué)、醫(yī)學(xué)、畫(huà)學(xué)等。
北宋國(guó)子學(xué)主要收京朝七品官以上的弟子，即宋王朝的高、中級(jí)貴族的子弟才能就學(xué)。而八品官以下的子弟或庶人的優(yōu)秀子弟只可在太學(xué)學(xué)習(xí)。《宋史·選舉志》記載：當(dāng)時(shí)的太學(xué)學(xué)生“以八品以下子弟，若庶人之俊異者為之?！庇捎诒彼翁珜W(xué)學(xué)生多是下級(jí)官員和庶人子弟，故學(xué)習(xí)刻苦用功，在科舉考試時(shí)，中進(jìn)士者遠(yuǎn)遠(yuǎn)超過(guò)國(guó)子學(xué)，所以太學(xué)大大發(fā)展，太學(xué)學(xué)生達(dá)三千多人。一些國(guó)子學(xué)學(xué)生也到太學(xué)就讀，太學(xué)實(shí)際成了全國(guó)的最高學(xué)府。
北宋時(shí)期，除京師開(kāi)封設(shè)國(guó)子監(jiān)外，宋王朝還在西京洛陽(yáng)、南京宋州(今河南省商丘市)設(shè)立國(guó)子監(jiān)學(xué)校。河南成為全國(guó)教育的中心。
清朝，河南的各地方行政區(qū)設(shè)有府、州、縣等各級(jí)官學(xué)。省學(xué)院直轄的大梁書(shū)院和明道書(shū)院及各府、州、縣書(shū)院也都具有官學(xué)的性質(zhì)。1840年前，河南各府、州、縣共有官學(xué)一百一十八所。各官學(xué)有河南提督學(xué)政、配置教授、學(xué)正、教諭、訓(xùn)導(dǎo)等學(xué)官。
生員進(jìn)學(xué)前無(wú)論年齡大小，皆稱(chēng)“童生”。童生考試合格，即為“儒學(xué)生員”,又稱(chēng)“秀才”。生員每三年通過(guò)科考后可參加一次鄉(xiāng)試。河南的鄉(xiāng)試在省城開(kāi)封的河南貢院(即現(xiàn)河南大學(xué)院內(nèi))舉行。貢院有號(hào)房萬(wàn)余間，供各府、州、縣儒學(xué)生員及貢生居住答卷。鄉(xiāng)試取中者為舉人。
清代書(shū)院以官辦為主，私立為輔，如開(kāi)封城中的大梁書(shū)院、明道書(shū)院皆為官辦。戊戌變法后，廢科舉、興新學(xué)。1901年，慈禧太后又派出載澤、鴻慈、端方、徐世昌、紹英五大臣出國(guó)考察各國(guó)教育，實(shí)行教育改革，下諭：“著各省所有書(shū)院，于省城均改為大學(xué)堂?！?902年始，河南的各級(jí)書(shū)院相繼改名，明英宗天順五年(1461)創(chuàng)辦的大梁書(shū)院改名河南大學(xué)堂，明道書(shū)院改名為中州公學(xué)，河朔書(shū)院改名河朔中學(xué)堂，開(kāi)封信陵書(shū)院改為河南豫河客籍高等學(xué)堂。各縣的書(shū)院均改為中學(xué)堂或小學(xué)堂。是時(shí)，河南有河南大學(xué)堂、優(yōu)級(jí)師范學(xué)堂、政法學(xué)堂、河南體育專(zhuān)科學(xué)堂等，這是河南近代高等學(xué)校的開(kāi)端。1909年，河南創(chuàng)辦焦作路礦學(xué)堂，是為全國(guó)第一所礦冶高等學(xué)校。
1912年，河南在開(kāi)封創(chuàng)辦留學(xué)歐美預(yù)備學(xué)校，1923年該校改為中州大學(xué)，這是河南第一所綜合性大學(xué)，1927年，改稱(chēng)中山大學(xué)，1930年，改稱(chēng)河南大學(xué)。到1936年為止，河南共有焦作工學(xué)院、河南大學(xué)和水利工程專(zhuān)科學(xué)院。1946年，水利工程學(xué)校又并入河南大學(xué)，全省只有兩所高校。
目前，河南擁有高校五十余所，其中有河南大學(xué)，創(chuàng)辦于1912年；鄭州大學(xué)，1956年建校；鄭州工學(xué)院，創(chuàng)辦于1963年；河南農(nóng)業(yè)大學(xué)，創(chuàng)建于1913年，時(shí)稱(chēng)河南公立農(nóng)業(yè)專(zhuān)門(mén)學(xué)校，1927年，并入河南中山大學(xué)(即今之河南大學(xué)),1952年，農(nóng)學(xué)院由河南大學(xué)獨(dú)立出來(lái)，成為獨(dú)立的院校。河南醫(yī)科大學(xué)，1928年創(chuàng)建于開(kāi)封，屬于河南中山大學(xué)醫(yī)科，1952年從河南大學(xué)獨(dú)立，稱(chēng)為河南醫(yī)學(xué)院，1984年稱(chēng)河南醫(yī)科大學(xué)。河南師范大學(xué)，創(chuàng)建于1950年，初名平原師范學(xué)院，1955年，河南大學(xué)的數(shù)、理、化三個(gè)專(zhuān)業(yè)并入該校，1962年，河南大學(xué)生物系并入該校，1985年改稱(chēng)為河南師范大學(xué)。據(jù)1987年統(tǒng)計(jì)，全省共有專(zhuān)科以上學(xué)校五十一所，四十二所中等師范學(xué)校，一百六十所中等專(zhuān)業(yè)學(xué)校，中、小學(xué)多如滿(mǎn)天繁星。河南教育事業(yè)正在迅速發(fā)展中。(《河南省志·教育志》)