1938年4月，日軍在臺兒莊戰(zhàn)役中失利，感到魯南和蘇北可能集結(jié)著中國的主力部隊(duì)，遂利用春季對蘇戰(zhàn)備松緩的機(jī)會，調(diào)集重兵以圖南北夾擊徐州，與中國軍隊(duì)決戰(zhàn)，進(jìn)而掃蕩中原，直搗武漢。匯集在徐州附近的國民黨軍隊(duì)為了擺脫被圍殲的困難處境，主動棄守徐州，實(shí)施突圍。此役在一定程度上遲滯了日軍迅速滅亡中國的既定計(jì)劃。
日軍自盧溝橋事變侵入華中和華東地區(qū)，連克北平、天津、太原、上海、南京等大城市和很多戰(zhàn)略要地，幾乎所向披靡，氣焰甚為囂張。不料，中國軍隊(duì)在臺兒莊之役以羸弱的雜牌之師力挫日軍精銳之旅，震驚了世界，極大地喚起中華民族的抗戰(zhàn)熱情，對日本不啻是一個(gè)沉重的打擊。 日本大本營曾分析臺兒莊戰(zhàn)役失利的原因，一是過于輕敵，低估了中國軍隊(duì)頑強(qiáng)作戰(zhàn)的能力；二是作戰(zhàn)計(jì)劃不周密，準(zhǔn)備不足；三是缺乏互相配合，如南部日軍攻打蚌埠，北部日軍不策應(yīng)，北部日軍在臨沂受阻，南部日軍也未予救援，以致出現(xiàn)“南動北不動，北動南不動”的局面，陷入被動。日本方面除屢次嚴(yán)飭南北兩部日軍協(xié)同作戰(zhàn)外，還派皇室成員載仁親王赴華北和華東視察，調(diào)處南北日軍的關(guān)系。經(jīng)過一番整頓和部署，南北部日軍相繼于4月下旬聯(lián)合行動，發(fā)起對徐州的新攻勢。
徐州古為彭城所在地，曾是西楚霸王項(xiàng)羽的都城，地處津浦鐵路與隴海鐵路交匯點(diǎn)，交通方便，商業(yè)亦盛，歷來為兵家必爭之地。其北以泰山山脈形成魯南沂蒙山區(qū)為屏障，西有微山湖之阻隔，東南為蘇北的淮海平原，河渠縱橫，沃野千里。若據(jù)有該地，北可進(jìn)窺燕魯，威脅濟(jì)南，南可覬覦蘇皖北部平原，直逼南京。因此，日軍占領(lǐng)南京和濟(jì)南后，便把攻占徐州列入1938年侵華第一期計(jì)劃，重點(diǎn)實(shí)施。
實(shí)際上，臺兒莊戰(zhàn)役也是日軍進(jìn)攻徐州計(jì)劃的一部分。隨著臺兒莊戰(zhàn)役的進(jìn)行， 日軍深感徐州不可輕取，于是重新調(diào)整軍事部署，調(diào)集重兵，逐步實(shí)施對徐州及其附近中國軍隊(duì)的戰(zhàn)略包圍。在此期間， 日本新編成獨(dú)立混成第二至第五旅團(tuán)，派赴中國作戰(zhàn)，并對華北方面軍所屬各部進(jìn)行了調(diào)整：獨(dú)立混成第三旅團(tuán)接防第十四師團(tuán)，守備新鄉(xiāng)至清化地區(qū)；獨(dú)立混成第四旅團(tuán)接防第一一四師團(tuán)，守備石家莊至邯鄲一線；獨(dú)立混成第二旅因列入蒙疆兵團(tuán)，守備淶源、廣靈地區(qū)，從而抽出第十四、第十六、第一一四師團(tuán)準(zhǔn)備用于徐州會戰(zhàn)。同時(shí)，華北方面軍的戰(zhàn)斗序列也進(jìn)行了變更：第一軍由兩個(gè)師團(tuán)增加到四個(gè)師團(tuán)；第二軍不變；方面軍直轄兵團(tuán)由四個(gè)師團(tuán)、一個(gè)旅團(tuán)變?yōu)閮蓚€(gè)師團(tuán)、四個(gè)旅團(tuán)。
為策應(yīng)北路日軍南下，日本大本營令華中派遣軍參加徐州會戰(zhàn)。4月7日，陸軍部下達(dá)《徐州附近作戰(zhàn)指導(dǎo)要領(lǐng)案》,令華北方面軍和華中派遣軍緊密聯(lián)絡(luò)，重創(chuàng)中國軍事力量，攻占徐州，打通津浦鐵路，規(guī)定華北方面軍以主力擊潰徐州附近的中國軍隊(duì)，占領(lǐng)至蘭封以東、隴海路以北地區(qū)；華中派遣軍以兩個(gè)師團(tuán)從南面策應(yīng)作戰(zhàn)，從津浦路沿線進(jìn)擊，占據(jù)徐州以南津浦線及廬州附近，切斷中國軍隊(duì)退路。關(guān)于徐州會戰(zhàn)的指揮，日本大本營原擬由華北方面軍司令官寺內(nèi)壽一擔(dān)任，后經(jīng)研究作了改變，原因是寺內(nèi)壽一與華中派遣軍司令官畑俊六均為元帥軍銜，遂采用按統(tǒng)一作戰(zhàn)計(jì)劃分區(qū)指揮，并由大本營作戰(zhàn)部長橋本群少將率領(lǐng)幕僚組成派遣班，從4月中旬至5月底赴現(xiàn)地工作，協(xié)調(diào)和指導(dǎo)華北、華中兩地區(qū)的作戰(zhàn)。4月17日至18日，橋本在濟(jì)南召開華北、華中日軍參謀工作會議，確定華北方面軍以五個(gè)師團(tuán)兵力進(jìn)攻徐州，即先以一部用連續(xù)作戰(zhàn)的方法，吸引和牽制徐州以北、津浦路以東的中國軍隊(duì)，主力則進(jìn)至徐州以西、以東、以南地區(qū)；華中派遣軍以兩個(gè)師團(tuán)由蚌埠向北沿津浦路攻向徐州，一部由馬鞍山渡過長江經(jīng)和縣、巢縣攻占合肥，另一部由蘇北的東臺向北進(jìn)攻，占領(lǐng)鹽城、阜寧，在徐州以南配合實(shí)施對徐州的進(jìn)攻。這時(shí)，日軍在華總兵力為18個(gè)師團(tuán)四十余萬人，用于徐州作戰(zhàn)的為8個(gè)師團(tuán)近二十萬人。其中，華北方面軍為5個(gè)半師團(tuán)、華中派遣軍為2個(gè)半師團(tuán)。
面對日軍咄咄逼人的攻勢，中國方面決定與之抗衡。受臺兒莊大捷的影響，國民黨軍的士氣高漲，統(tǒng)帥部也萌生了在徐州與日軍決一雌雄的想法。如蔣介石過低估計(jì)日軍的攻擊能力，為擴(kuò)大臺兒莊戰(zhàn)役的成果，堅(jiān)持在徐州決戰(zhàn)，并在不到1個(gè)月的時(shí)間內(nèi)，向徐州增調(diào)了20萬軍隊(duì)，加上臺兒莊戰(zhàn)役中第五戰(zhàn)區(qū)原有的十幾個(gè)軍，已達(dá)36個(gè)軍，號稱60萬人。對于蔣把眾多軍隊(duì)云集易攻難守的徐州，李宗仁表示反對，認(rèn)為：“我們趁敵人趾高氣揚(yáng)，暴露輕敵的弱點(diǎn)時(shí)，予以迎頭痛擊，稍挫其鋒，是完全必要的；但想在此四面受敵的平坦地帶，和日軍進(jìn)行戰(zhàn)略決戰(zhàn)，則有違背長期消耗作戰(zhàn)的既定方針?！雹偎鲝堉袊婈?duì)轉(zhuǎn)移陣地，另尋有利地區(qū)與敵決戰(zhàn)，惟因蔣意甚決，只好按戰(zhàn)役決戰(zhàn)部署了兵力：徐州以北由孫連仲、湯恩伯兩軍擔(dān)任正面防御，左翼沿津浦線是鄧錫侯軍，右翼臨沂方面是龐炳勛、張自忠兩軍；另外，周嵒和李仙洲兩軍在臺兒莊右側(cè)向東延伸，樊崧甫、盧漢兩軍作為后備部隊(duì)置于運(yùn)河兩岸。于學(xué)忠第三集團(tuán)軍布防于運(yùn)河及微山湖以西地區(qū)，負(fù)責(zé)守衛(wèi)徐州西北外圍，譚道源、商震、俞濟(jì)時(shí)、宋希濂、劉和鼎、李漢魂、桂永清及胡宗南共九個(gè)軍也布防于徐州以西拒敵。李品仙、廖磊所部三個(gè)軍七個(gè)師部署于淮河沿岸田家庵、鳳臺、壽縣、正陽關(guān)等地，負(fù)責(zé)保衛(wèi)中國軍隊(duì)左側(cè)后，另有馮治安等六個(gè)軍布防于淮河左岸，以拒津浦南段之?dāng)场?br>4月18日， 日軍發(fā)起攻勢作戰(zhàn)。
在北線，日軍第一線攻擊兵力為第十、第五師團(tuán)，已經(jīng)完成守備移交，分別集結(jié)于嶧縣和湯頭鎮(zhèn)地區(qū)，為了將中國軍隊(duì)主力吸引在徐州，日本大本營令該兩師團(tuán)在魯南對孫連仲和湯恩伯集團(tuán)實(shí)行抑留作戰(zhàn)，并派第十六、第一一四師團(tuán)和獨(dú)立混成第五旅團(tuán)增援，戰(zhàn)斗集中于臨沂和臺兒莊地區(qū)。18日，日軍國崎支隊(duì)猛攻臨沂，并將城西北角轟塌數(shù)處，其步兵在戰(zhàn)車掩護(hù)下長驅(qū)入城，遭到張自忠第五十九軍伏擊。第二天，日軍由西北兩面合擊臨沂，突入城內(nèi)，占領(lǐng)北關(guān)、西關(guān)和北半城，至午夜攻陷臨沂。隨后，日軍繼續(xù)南下，先后占領(lǐng)郯城和碼頭鎮(zhèn)，但在向邳縣進(jìn)攻途中遭到張自忠部和樊崧甫第四十六軍的頑強(qiáng)抵抗。雙方激戰(zhàn)三晝夜，日軍傷亡頗重，后由片桐聯(lián)隊(duì)緊急支援，方在北勞溝一帶穩(wěn)住陣腳。在臺兒莊方面，日軍第十師團(tuán)由棗莊、嶧縣附近分途南下，迫使湯恩伯軍團(tuán)撤至洪山鎮(zhèn)東南一線。22日，日軍長瀨支隊(duì)由蘭陵南下，向臺兒莊東側(cè)攻擊前進(jìn)，與盧漢第六十軍激戰(zhàn)六晝夜仍不能突入臺兒莊，遂改攻禹王山。 日軍坂本支隊(duì)于22日突破小良壁陣地，在邳縣以北與湯軍團(tuán)惡戰(zhàn)。第五戰(zhàn)區(qū)先后調(diào)李仙洲部和李延年部增援，使日軍損失慘重。同樣，日軍瀨谷旅團(tuán)從19日起正面攻擊臺兒莊，也被孫連仲第二集團(tuán)軍，周喦第七十五軍、張軫第一一○師阻于獐山、天柱山之線，至5月上旬才推進(jìn)至臺兒莊西北之蘭城店、周樓附近與中國軍隊(duì)形成對峙。
日軍采取連續(xù)作戰(zhàn)的滯留戰(zhàn)術(shù)牽制住中國主力部隊(duì)后，北線五個(gè)主力師團(tuán)逐步形成對徐州以北、以西地區(qū)的半包圍態(tài)勢：第五師團(tuán)集結(jié)于臨沂地區(qū)待命南進(jìn)；第十師團(tuán)將臺兒莊以北的防務(wù)移交第一一四師團(tuán)，準(zhǔn)備由夏鎮(zhèn)渡至微山湖以西；第十四師團(tuán)直抵黃河北岸的濮城，第十六師團(tuán)駐防于濟(jì)寧，并開始向徐州西北迂回。這時(shí)，華中派遣軍也向吉住良輔第九師團(tuán)和獲洲立兵第十三師團(tuán)下達(dá)了參加徐州作戰(zhàn)的命令，從蚌埠、懷遠(yuǎn)向北分兩路齊頭并進(jìn)，沿津浦路以西地區(qū)的蒙城、臨渙集、永城、蕭縣攻向徐州，遮斷徐州以西之隴海鐵路，配合華北日軍對徐州實(shí)施包圍。
當(dāng)日軍以多路向徐州地區(qū)前進(jìn)之際，中國軍事當(dāng)局為減緩第五戰(zhàn)區(qū)的壓力，急令程潛第一戰(zhàn)區(qū)的部隊(duì)，從豫東沿隴海路推進(jìn)至徐州以西，阻止日軍第十四師團(tuán)直撲隴海路，并將第一戰(zhàn)區(qū)的作戰(zhàn)區(qū)域東移，即由亳縣經(jīng)黃口、沛縣至夏鎮(zhèn)，以西歸第一戰(zhàn)區(qū)，以東歸第五戰(zhàn)區(qū)；令第一、第五戰(zhàn)區(qū)，重點(diǎn)抗擊徐州以北、以西之?dāng)场Ｔ谀暇€第五戰(zhàn)區(qū)則抽調(diào)劉汝明第六十八軍、馮治安第七十七軍、羅奇第九十五師配屬淮北兵團(tuán)廖磊指揮以增強(qiáng)正面防守。
5月5日，華中派遣軍開始實(shí)施南北夾擊徐州的計(jì)劃，首先向中國軍隊(duì)進(jìn)攻。第九、第十三師團(tuán)以一部由津浦路向北佯攻，主力沿渦河兩岸及北淝河向蒙城攻擊前進(jìn)，連陷龍?jiān)蛷埌藸I。8日，日軍第十三師團(tuán)一部在重炮和坦克掩護(hù)下，猛攻蒙城。中國守軍韋云淞第四十八軍一七三師一○三團(tuán)千余人奮勇抵抗。第二天，日軍由南門沖入城內(nèi)，兩軍展開混戰(zhàn)。中國守軍全部犧牲，蒙城失陷。同時(shí)，第九師團(tuán)由北淝河西岸突破劉士毅第三十一軍陣地，抵達(dá)板橋集附近。隨后， 日軍兩個(gè)師團(tuán)互相配合齊頭并進(jìn)，直趨徐州西南的永城、百善一線。如果日軍占領(lǐng)永城，將對隴海鐵路和徐州形成很大的威脅。第五戰(zhàn)區(qū)急調(diào)羅奇第九十五師一個(gè)團(tuán)赴永城拒敵，并令劉汝明部向永城馳援，側(cè)擊日軍，馮治安和劉士毅部攻擊青町、蒙城，斷敵后路。不料，中國援軍尚未到達(dá)，日軍第十三師團(tuán)已經(jīng)先期占領(lǐng)永城，繼而北上突襲黃口，炸毀汪閣東面鐵橋，切斷了隴海路。第九師團(tuán)占領(lǐng)百善后，直趨徐州西南之蕭縣。原在鎮(zhèn)江地區(qū)守備的第三師團(tuán)也奉調(diào)北進(jìn)，沿津浦路進(jìn)入宿縣南部大營集地區(qū)。
5月9日，由濟(jì)寧渡過運(yùn)河的日軍第十六師團(tuán)，在西進(jìn)途中遇到中國軍隊(duì)的抵抗，11日占領(lǐng)金鄉(xiāng)；第十四師團(tuán)第二十八旅團(tuán)經(jīng)嘉祥向西進(jìn)攻，也經(jīng)過與中國軍隊(duì)激戰(zhàn)占領(lǐng)鄆城，該師團(tuán)主力由濮城渡過黃河，直撲隴海鐵路，妄圖截?cái)嘀袊婈?duì)的退路。為阻止日軍南下向徐州西側(cè)迂回，第一戰(zhàn)區(qū)在金鄉(xiāng)、魚臺地區(qū)組織了頑強(qiáng)的抵抗。激戰(zhàn)中第七十四師參謀長楊景環(huán)陣亡，第八十旅旅長張清秀、副旅長李彤溪負(fù)重傷，部隊(duì)大部犧牲。13日， 日軍編成以坦克為先導(dǎo)的突擊部隊(duì)向南猛沖，突破中國守軍的阻擊，于15日抵達(dá)隴海路黃口車站以西汪閣一帶，與華中派遣軍第十三師團(tuán)一部會合遮斷了隴海路，使徐州作戰(zhàn)形勢發(fā)生了嚴(yán)重的變化。至5月15日，徐州南面日軍第三師團(tuán)已占領(lǐng)瓦疃集、大營鎮(zhèn)；西南面第十三師團(tuán)一部與第十六師團(tuán)一部已在碭山、黃口會合，并配合第九師團(tuán)直逼徐州和蕭縣；西北面第十師團(tuán)從夏鎮(zhèn)西渡微山湖，抵達(dá)湖西的沛縣，向南接近徐州；東北面第五師團(tuán)在徐州附近的碼頭、郯城、北勞溝一帶正與中國軍隊(duì)激戰(zhàn)。另外，由關(guān)東軍增調(diào)徐州的混成第三、第十三旅團(tuán)已在兗州下車，開向戰(zhàn)場，第六師團(tuán)、第一○一師團(tuán)也在合肥、阜寧等地與徐州附近的日軍形成戰(zhàn)略策應(yīng)，加劇了徐州作戰(zhàn)的危機(jī)。
在徐州遭到南、西、北三方面包圍、向西的隴海路又被切斷的情況下，第五戰(zhàn)區(qū)司令長官李宗仁感到形勢頗為嚴(yán)重。從軍事地理方面看，徐州地處平原，四通八達(dá)，敵人可以從多方面進(jìn)攻，守軍也可以從多方面增援、反擊與轉(zhuǎn)移。由于日軍的裝備較好，其空軍大機(jī)群可以連續(xù)實(shí)施大規(guī)模的攻擊和轟炸，地面除了輕武器與足夠的火力密度外，還有相當(dāng)數(shù)量的火炮及坦克、裝甲車。因此，中國軍隊(duì)處于非常不利的境地。但是，進(jìn)攻徐州的日軍數(shù)量比中國軍隊(duì)少，以致很多地方呈現(xiàn)出空隙，給中國軍隊(duì)造成突圍和轉(zhuǎn)移作戰(zhàn)的機(jī)會。據(jù)李宗仁回憶，他在戰(zhàn)斗中已經(jīng)判斷到日軍合圍徐州的戰(zhàn)略企圖，認(rèn)為“我方集大軍數(shù)十余萬人于徐州一帶平原地區(qū)之內(nèi)，正是敵方機(jī)械化部隊(duì)和空軍的最好對象。以我軍的裝備，只可相機(jī)利用地形有利條件，與敵人作運(yùn)動戰(zhàn)，若不自量力而與敵人作大規(guī)模的陣地消耗戰(zhàn)，必蹈京滬戰(zhàn)場的覆轍?！雹诠识钭谌侍岢鲞m當(dāng)阻敵后即擇適合時(shí)機(jī)撤出徐州的計(jì)劃，獲得批準(zhǔn)。5月15日，第五戰(zhàn)區(qū)指示所屬部隊(duì)依托北部山區(qū)抗擊日軍第五、第一一四師團(tuán)，對南部第九、第十三、第三師團(tuán)予以反擊，伺機(jī)殲滅其一部，使之無法達(dá)成合圍徐州之目的。
5月16日，渡過微山湖的日軍第十師團(tuán)猛攻駐沛縣的龐炳勛第三軍團(tuán)，19日占領(lǐng)沛縣。在碭山東北的第十六師團(tuán)經(jīng)與中國守軍第七十四軍一部激戰(zhàn)兩天后，占領(lǐng)豐縣，隨后與第十師團(tuán)在郝寨會合。在徐州以東的第五師團(tuán)于5月15日到達(dá)運(yùn)河?xùn)|岸，遭到孫連仲后衛(wèi)部隊(duì)頑強(qiáng)的抵抗。后來， 日軍編成“中國駐屯旅團(tuán)”戰(zhàn)車隊(duì)、獨(dú)立輕裝甲車隊(duì)等快速追擊部隊(duì)直撲靈壁西北的尹集，擊潰譚道源第二十二軍，然后分兩路在運(yùn)河以西向符離集和宿縣地區(qū)前進(jìn)。21日，其先頭部隊(duì)已到路疃集，距符離集僅30公里。在徐州東北，日軍第一一四師團(tuán)以一個(gè)旅團(tuán)守備嶧縣、泥溝、棠蔭地區(qū)，另一旅團(tuán)由奧保夫少將率領(lǐng)渡過大運(yùn)河向大吳、大廟方向追擊，對徐州形成直接威脅。
5月17日，李仙洲第九十二軍在鳳凰山、霸王山的陣地被日軍突破，其在蕭縣的第一三九師也遭包圍。在徐州形勢更為緊張的情況下，第五戰(zhàn)區(qū)司令長官部決定放棄徐州，實(shí)施戰(zhàn)略突圍，并令張自忠第五十九軍從西面的郝寨撤至徐州作為預(yù)備隊(duì)。當(dāng)晚，第五戰(zhàn)區(qū)指揮機(jī)關(guān)陸續(xù)撤出徐州，乘火車至宿縣。湯恩伯第二十軍團(tuán)、廖磊第二十一集團(tuán)軍按預(yù)定計(jì)劃，封鎖了日軍各據(jù)點(diǎn)，掩護(hù)大軍徐徐西撤，強(qiáng)行通過日軍后方蒙城等地，脫離了日軍的包圍。此時(shí)日軍四個(gè)師團(tuán)已集結(jié)于徐州附近，僅第三師團(tuán)會同第九師團(tuán)一個(gè)旅團(tuán)在徐州以南合攻宿縣。5月19日，宿縣陷落。
在徐州突圍中，第五戰(zhàn)區(qū)采取以一部兵力占領(lǐng)徐州外圍之據(jù)點(diǎn)，牽制敵軍前進(jìn)的戰(zhàn)術(shù)，實(shí)行掩護(hù)突圍，故未受到重創(chuàng)。③其中孫連仲魯南兵團(tuán)一部計(jì)第六十軍、第九十五師及第二集團(tuán)軍由徐州西南突出，主力第二十二集團(tuán)軍、第四十六、第五十一、第七十五軍及第一四○、第一三二師由徐州南面突出，經(jīng)靈壁、泗縣、淮河向西撤退；李宗仁率長官部及湯恩伯隴海兵團(tuán)之第二十軍團(tuán)、第二、第五十九、第六十八、第九十二軍先突圍至宿縣，后又向西突圍，由毫縣、渦陽附近渡河西撤；長官部則在廖磊淮北兵團(tuán)接應(yīng)下，偕第二十一集團(tuán)軍、第三十一、第七十七軍由太和、阜陽地區(qū)突出重圍。僅韓德勤第二十六集團(tuán)軍、石友三第六十九軍以及海軍陸戰(zhàn)隊(duì)留駐蘇北和魯中南進(jìn)行游擊。至此，日軍在徐州圍殲中國軍隊(duì)主力的計(jì)劃完全落空。