政協(xié)會議通過了有關(guān)軍事問題的決議，但軍事問題的解決并未在會議上具體討論，而是在馬歇爾的直接參與下，會后由國共美三方談判解決。馬氏提出的對中國軍隊徹底改造的方案，強調(diào)按西方軍事傳統(tǒng)，在中國建立一支國家的、非政治化的、民主的軍隊，而非政爭的工具。軍政分離是他擬訂整軍方案的總原則^[1]。然而他的設(shè)想，首先在國共軍隊混編問題上便碰了壁，中國的現(xiàn)實注定了馬氏的設(shè)想難以實現(xiàn)。
軍隊是中共最為關(guān)注的問題，即使是在政協(xié)剛剛閉幕的樂觀氣氛中，中共對軍隊問題也比對其他問題更為小心。2月5日，周恩來向中共中央報告了馬歇爾的整軍方案，馬氏提出實行軍隊國家化，軍人不得兼任文職，平時軍隊只管訓(xùn)練，另劃補給區(qū)供給，軍隊不得隨意調(diào)動；整編時間為18個月，第一步即實行國共軍隊以師為單位的初步混編。周恩來認為馬氏提出的“建軍原則可同意，因他在基本上是限制統(tǒng)帥權(quán)的”;其“整軍原則，基本上亦可同意，因他之統(tǒng)一整編辦法，是公平的”。但在整軍程序上，周恩來認為國共軍隊應(yīng)首先平行整編，混編應(yīng)待第二步再行^[2]。中共中央基本同意周恩來的意見，認為：馬歇爾所提主張按西方民主制度改變中國軍隊制度及軍人思想的辦法，對破壞國民黨及許多軍隊的原系統(tǒng)是徹底的，但事實上今天行不通，可原則上贊成他的意見。對于馬氏的混編方案，中共認為“其目的是企圖消滅或控制中共軍隊，故絕不能答應(yīng)”。因此，中共中央指示周恩來：“軍隊問題是最重要的問題，必須謹慎處理。為取得經(jīng)驗并看清美國的意圖及當前形勢來決定對軍隊的政策?！?sup>[3]
中共對馬歇爾整編方案的反應(yīng)尚在馬氏意料之中，令馬歇爾不解的是，國民黨也反對他的混編計劃，原因之一是非嫡系部隊及其長官擔(dān)心因此而失去部隊的自主性，從而也就失去了諸多特權(quán)。直到晚年撰寫回憶錄時，李宗仁尚憤憤于陳誠企圖以混編“排除異己，培植私人勢力”,而且這樣一來，“原先本甚單純的軍事系統(tǒng)，反而弄得龐雜了，指揮不易，士氣消沉，戰(zhàn)斗力也因此喪失”(實際陳誠并不主張立即實行混編，見下段)^[4],馬氏另外一個設(shè)想更是令國民黨莫明其妙。據(jù)張治中回憶，馬歇爾最初曾提出中共陸軍占總兵力的三分之一，海空軍中共亦占至少30%份額的方案。蔣介石見到該方案后非常詫異，因為國共軍隊比例雙方已有成議，即中共占總數(shù)的六分之一或七分之一，而?？哲妴栴}中共從未提出過，蔣即要馬歇爾立予修改。馬氏最后提出的方案維持了中共軍隊占總數(shù)六分之一的原案，而未再提?？哲妴栴}^[5]。大概馬歇爾當時企圖對中共誘之以利，使中共盡早同意其整編方案。就馬氏本人而言，他自認提出的方案對國共雙方不偏不倚，然而他是按美國人的思維邏輯考慮問題的，因此他的方案沒有考慮到中國國情，沒有認識到中國長期你死我活的政治斗爭中，軍隊所起的舉足輕重的作用，因此他的方案遭到國共雙方的反對就不奇怪了。
2月14日，關(guān)于整編軍隊的三人小組會議在重慶開始舉行。由于國共雙方在很多問題上已經(jīng)有私下默契，也由于當時的大環(huán)境，加上馬歇爾的調(diào)解，整軍談判總體而言是在較為和諧的氣氛中進行的，在軍隊數(shù)量、統(tǒng)帥權(quán)、復(fù)員等問題上很快達成了妥協(xié)^[6]。國共爭論較多的是馬歇爾提出的混編計劃。國民黨代表張治中最先提出的方案照抄了馬歇爾的方案，在第一期整編的十二個月內(nèi)，軍隊實行以師為基礎(chǔ)的初步混編，即每軍由政府軍二師和中共軍一師，或政府軍一師中共軍二師組成；十二個月后的第二期整編六個月內(nèi)，實行徹底混編，即不再有政府師和中共師的界限之分。中共代表周恩來反對此一方案，他提出第一期雙方各自編成，不相混合；第二期初步混編或稱統(tǒng)編；徹底混編則須視以后局勢進展情形如何再議。他的理由是，兩支軍隊彼此對立了十八年，有著不同的制度和體系，不可能一下就合在一起。馬歇爾折衷雙方意見提出一個方案，第一期整編，前六個月各自編成，后六個月實行以軍為基礎(chǔ)的混編，第二期實行以師為基礎(chǔ)的混編，未提徹底混編問題^[7]。實際混編的方案在國民黨內(nèi)亦遭反對，軍政部部長陳誠的意見是：“混合編軍辦法最值得研究，因國共軍隊今后雖均屬國軍，在理自無問題，惟以種種思想問題，以及各軍歷史性，尤其所處之環(huán)境及將領(lǐng)之生活等等，決非短期所能融合(此點尤需特別注意)?！睆堉沃性敿友芯亢?，認為一年內(nèi)混編實屬利害參半，遂向蔣介石建議，不如順水推舟，　接受馬歇爾的折衷方案^[8]。結(jié)果馬氏的方案得到國共雙方的首肯。
整軍談判中另外一個引起爭議的問題，是一般人不太注意的憲兵與護路隊的地位。周恩來認為此兩者人數(shù)及武裝均不少(憲兵有20個團，護路隊有18個總隊),考慮到他們對中國政治民主化進程的影響，應(yīng)予限制。張治中則表示，憲兵編制小，部署分散，且無重武器，不能稱為武裝力量，護路隊則不屬于軍政部管轄，因此這兩者不在討論范圍之內(nèi)，不應(yīng)提出。周恩來又表示，憲兵問題非純關(guān)力量對比，而是憲兵到處干涉人民，影響民主政治。馬歇爾建議將此問題留給政治方面解決。張治中就此問題向蔣請示時認為：“整編共軍最主要的為統(tǒng)編及駐地問題，但如能于六個月后，即以軍為單位開始統(tǒng)編，則駐地問題亦可隨而解決，似屬于我有利。至憲兵及護路隊問題，自仍以堅決拒絕商談為宜?！?sup>[9]最終這兩個問題未在協(xié)議中寫明。
2月25日，張治中、周恩來、馬歇爾簽署了《關(guān)于軍隊整編及統(tǒng)編中共部隊為國軍之基本方案》(通稱“整軍方案”),主要內(nèi)容為：1.國民政府主席為陸?？哲娮罡呓y(tǒng)帥，但在撤免中共部隊軍官時，應(yīng)由政府內(nèi)的中共代表提名；2.陸軍每軍由三個師組成，全國劃為八個補給區(qū)，負責(zé)軍隊補給；3.本協(xié)定公布后十二個月內(nèi)，政府應(yīng)將九十個師、中共應(yīng)將十八個師以外之各部隊復(fù)員，三到六個星期內(nèi)，政府與中共應(yīng)交出保留各師表冊及復(fù)員部隊次序，十二個月完畢后之六個月，政府軍應(yīng)縮編為五十個師，中共軍應(yīng)縮編為十個師，合共六十個師，編為二十個軍；4.自整編開始六個月后，由政府軍和中共軍編成集團軍，十二個月終了時，配置如下，東北，政府五個軍，中共一個軍。西北，政府五個軍。華北，政府三個軍，另四個集團軍，各包含政府一個軍、中共一個軍，雙方各擔(dān)任二個集團軍總司令。華中，政府九個軍，中共一個軍。華南，政府四個軍。十八個月終了時，取消集團軍，配置如下，東北，政府四個軍，另一個軍，包括政府二個師，中共一個師，政府軍官任軍長。西北，政府三個軍。華北，政府二個軍，另三個軍，每軍包括政府一個師，中共二個師，中共軍官任軍長，一個軍，政府二個師，中共一個師，政府軍官任軍長。華中，政府三個軍，另一個軍，包括中共二個師，政府一個師，中共軍官任軍長。華南，政府二個軍；5.省保安部隊不得超過1.5萬人，以輕武器為限；6.軍調(diào)部為本協(xié)定執(zhí)行機關(guān)，協(xié)定生效后，政府及任何黨派組織不得保持或支持任何秘密或獨立武力，偽軍及非正規(guī)軍應(yīng)盡速解除武裝并解散之^[10]。
自抗戰(zhàn)中后期起，軍隊問題就一直是國共之間爭執(zhí)不下、最難妥協(xié)的關(guān)鍵問題之一，在馬歇爾的調(diào)停下，國共雙方達成整軍協(xié)定，這是繼達成停戰(zhàn)協(xié)議和政協(xié)決議之后，中國政治民主化進程的又一重大收獲。在整軍協(xié)定簽訂時，國共美三方代表均給予了肯定的評價。張治中稱，政治協(xié)商會議之成功，乃在達成政治民主化之目標，此一文件，則將奠定軍隊國家化之基礎(chǔ)。今后我國當可本和平建設(shè)之大方針，以建設(shè)三民主義之新中國。本人代表政府簽此方案，并百分之百保證其執(zhí)行，使達成逐步軍隊國家化之目的。周恩來稱，只要政府和中共，乃至全國人民都能堅守和擁護此一方案，相信任何困難阻礙，都不能妨礙此方案之實施。我代表中國共產(chǎn)黨，向諸位，向全國人民，向世界友邦保證，凡我們簽訂的文件，特別要包含這次簽訂的整軍基本方案，我都要使他百分之百的實現(xiàn)。馬歇爾稱，此協(xié)定為中國之希望。吾相信其將不為少數(shù)頑固分子所污損，蓋此少數(shù)頑固分子，自利自私，即摧毀中國大多數(shù)人民所渴望之和平及繁榮生存權(quán)利而不顧也^[11]。根據(jù)馬歇爾擬訂原則達成的整軍協(xié)定，與政協(xié)決議精神是相符合的，即在一個西方式民主政體下，建立一支真正的國家軍隊?？紤]到軍隊在中國政治中的特殊重要性，整軍協(xié)定的實行較之政協(xié)決議更為困難，更有賴于整個政治環(huán)境的支持，然而此時的政治環(huán)境較之一個月以前已經(jīng)有了某種變化，國民黨內(nèi)對于政協(xié)決議的反彈正在浮現(xiàn)，從整軍協(xié)定在反蘇游行的余波中簽訂這一事實^[12],多少已可預(yù)知其未來的命運未可樂觀。
整軍協(xié)定雖得到了蔣介石的同意，但他對此并不滿意，他自記所感曰：“整編時期定為一年半，乃全照共黨之意見而定，又華北五省，政府只可駐七個軍，而中共反可駐四個軍，初尚以為只限于冀魯兩省，殊不料其所談?wù)呦抵溉A北五省也，甚矣！文白(張治中)之足以誤事也?！?sup>[13]更為蔣介石不滿的是，美國提出在整軍期間建立一所軍事學(xué)校，訓(xùn)練中共軍隊，并以美國武器裝備中共部隊十個師。在美國看來這是對中國軍隊一視同仁，并且可以借此籠絡(luò)、控制中共部隊，但在蔣介石眼中，這無異于使自己的老對手如虎添翼。魏德邁在3月27日以備忘錄致蔣介石，擬先裝備中共部隊十個步兵營，十一個山炮連。蔣介石批示以下述意見轉(zhuǎn)告魏德邁：“在中共部隊未依照規(guī)定整編完畢以前，似不宜將此項裝備即行移交。”^[14]馬歇爾回中國后，對蔣的決定頗為不滿，他在給蔣的備忘錄中指出，此項裝備為供給設(shè)在張家口的中共軍事學(xué)校培訓(xùn)之用，以使其部隊在整編時得有適當組織與訓(xùn)練，非為野戰(zhàn)使用，“現(xiàn)得見鈞座之訓(xùn)令，勢將中止上述辦法，于是實施整編統(tǒng)編之協(xié)定，亦必中止，故此事自極嚴重也”。國民黨方面經(jīng)過研究，認為訓(xùn)練與裝備應(yīng)該分開，訓(xùn)練所用之必須裝備可以同意供應(yīng)，但應(yīng)先交由國方保管，至于“裝備共軍部隊，須俟統(tǒng)編后能統(tǒng)一指揮，方可開始，否則，危險性大，我方擬堅持此項原則”^[15]。由于形勢的變化，馬歇爾以后未再堅持前議，此事遂不了了之。
整軍協(xié)定達成后，張治中、周恩來、馬歇爾三人偕軍調(diào)部三方委員于2月28日至3月6日巡視了北平、張家口、集寧、濟南、徐州、新鄉(xiāng)、太原、歸綏、延安、武漢十處，會見了中共領(lǐng)導(dǎo)人毛澤東、劉少奇、朱德和國共雙方高級軍事將領(lǐng)，解決了若干未決問題^[16]。此次三人小組視察體現(xiàn)出的合作精神，不僅是軍事調(diào)處，而且可以說是1946年早春中國政治民主化進程的最高峰。在延安，毛澤東向馬歇爾保證，中共將盡其可能地遵守已經(jīng)達成的協(xié)議，在美國朋友的幫助下，這些協(xié)議定能付諸實施，完成中國的復(fù)興重建工作。馬氏顯然為毛的表示所打動，特意告訴他，因為國民黨是執(zhí)政黨，因此其黨內(nèi)的自私派別自然不愿交出權(quán)力，然而這一定不會被大家所容忍。隨后，馬歇爾自信地告訴杜魯門：“通過他們的巡視，各地的所有問題已經(jīng)得到澄清，并促進了普遍的理解。一切都表明，事情將迅速得以解決，交通將重新恢復(fù)，平民的正常生活實際正在恢復(fù)之中?！?sup>[17]他因此而認為，事態(tài)的發(fā)展都在他的計劃之中，他可以放心地回國述職，安排貸款、援華等事宜。然而馬歇爾過于自信了，他沒有料到的是，就在他返美前后，國民黨六屆二中全會對政協(xié)決議的反動，導(dǎo)致了這一民主化進程的停滯和逆轉(zhuǎn)。等他一個月之后自美返華，中國的政治軍事形勢與他走前相比已經(jīng)面目全非了。