漢宣帝元康四年(公元前62年),光祿大夫義渠安國巡查到羌中(諸羌部落所在地),諸羌部落中的先零部落，請(qǐng)求準(zhǔn)許他們到湟水(治所在今青海樂都)以北，在耕田以外的水草茂盛地方放牧牛羊。義渠安國同意，奏報(bào)朝廷。
身為后將軍的趙充國立即彈劾義渠安國擅作主張，但已來不及。諸羌部落有了義渠安國的承諾，便大批渡過湟水，進(jìn)入中國領(lǐng)土，郡縣無法禁止。
不久，先零部落酋長(zhǎng)跟其他部落酋長(zhǎng)200余人，宣誓解除過去怨仇，并互相派遣人質(zhì)。漢宣帝劉詢(公元前73—前49年在位)就此事詢問趙充國的意見。趙充國回顧了諸羌部落出爾反爾的歷史，認(rèn)為：他們這次行動(dòng)可能有匈奴在幕后出主意，可能是匈奴的使節(jié)已到羌中活動(dòng)的結(jié)果。中國應(yīng)在他們發(fā)動(dòng)叛亂之前，嚴(yán)加防范。
幾個(gè)月后，“羌侯”狼何(仍留在河西走廊的小月氏民族，位于敦煌陽關(guān)西南),果然派出使節(jié)到匈奴汗國借兵，準(zhǔn)備攻擊鄯善(原樓蘭，羅布泊西畔)和敦煌，企圖斷絕中國跟西域(新疆跟中亞細(xì)亞東部)之間的通道。趙充國認(rèn)為：狼何不可能想出這種謀略，定有匈奴使節(jié)在其中獻(xiàn)策。到了秋天他們戰(zhàn)馬肥壯的時(shí)候，一定會(huì)有意外的事變發(fā)生。中央政府應(yīng)火速派出官員到沿邊要塞加強(qiáng)防御工事，想方設(shè)法瓦解諸羌部落的團(tuán)結(jié)，這樣才能消除危機(jī)。
于是義渠安國被派往邊塞巡察，了解諸羌部落的動(dòng)向。義渠安國到了羌中，把先零諸部落30多個(gè)頭面人物召集到一塊，當(dāng)場(chǎng)誅殺幾個(gè)出言不遜、驕橫不馴者，并乘先零部落不備，發(fā)動(dòng)突擊，斬殺1000余人。于是，所有早已歸降中國的羌部落及被中國封為“歸義侯”的羌部落酋長(zhǎng)楊玉等，既驚恐，又憤怒。他們?cè)俨桓蚁嘈艥h王朝的信義。就聯(lián)合其他種族部落，攻打城邑，屠殺漢政府官員。義渠安國雖率領(lǐng)幾千騎兵迎戰(zhàn)，還是慘遭失敗。
消息傳來，劉詢派御史大夫丙吉請(qǐng)已年過七旬的趙充國推薦可以擔(dān)任大將的人才。趙充國毛遂自薦，認(rèn)為他最合適。劉詢派人詢問“最合適”的根據(jù)，諸羌部落會(huì)有什么發(fā)展，朝廷應(yīng)派多少軍隊(duì)。趙充國回答說：百聞不如一見。我愿先去金城郡(今甘肅蘭州),繪制地圖，擬訂作戰(zhàn)計(jì)劃呈報(bào)。不過有一點(diǎn)可以肯定，諸羌部落不久就可以平服，陛下不必?fù)?dān)憂。于是，劉詢?nèi)蚊w充國為西征軍統(tǒng)帥，于公元前61年四月率大軍出發(fā)。
趙充國抵達(dá)金城，等籌集到騎兵滿萬人，便準(zhǔn)備西渡黃河，而又怕諸羌軍隊(duì)堵?lián)?，就在?dāng)天夜晚派出3個(gè)指揮官先行偷渡，在黃河西岸構(gòu)筑陣地。天色微明時(shí)，工事已筑好，大軍就依次全部渡完。此時(shí)已有幾十上百個(gè)諸羌部落的騎兵出現(xiàn)在營(yíng)寨附近。趙充國考慮到部隊(duì)正精疲力盡，不能奔馳追逐，而敵人又驍勇善戰(zhàn)，而且他們后面可能有軍埋伏，就下令不準(zhǔn)出擊。趙充國又派斥侯偵察四望峽(今青海東都西),回報(bào)說，那里沒有羌軍把守。趙充國就派出大軍連夜挺進(jìn)到洛都(今青海西寧)。這時(shí)趙充國稍稍松了一口氣，對(duì)召集起來的各營(yíng)指揮官說：“我了解羌人不會(huì)用兵。假使他們用幾十人把守四望峽，我們?cè)趺茨艿竭@里？”趙充國遂揮師從洛都再向西，進(jìn)抵西郡都尉府(孟康釋：在金城)每天用豐富的飲食大享戰(zhàn)士，士氣十分高漲。諸羌部落發(fā)動(dòng)數(shù)次進(jìn)攻，趙充國堅(jiān)守不動(dòng)。從俘虜口中得知諸羌部落互相責(zé)備，趙充國打算用威嚴(yán)促使罕部落跟幵部落，以及被脅迫的其他一些羌氏族部落改變立場(chǎng)，用來渙散諸羌部落的團(tuán)結(jié)。在他們驚惶、疲憊時(shí)，再發(fā)動(dòng)攻擊。
這時(shí)，已從全國各地征調(diào)集結(jié)到6萬大軍。酒泉郡(治所在祿福，今甘肅酒泉)太守辛武賢上書建議乘夏季七月上旬，攜帶30日糧秣，分別從張掖(治所在得，今甘肅張掖西北)、酒泉出動(dòng)，在鮮水(即青海)攻擊那一帶的罕、幵兩部落。雖不能夠全殲，但至少可以奪得很多東西。冬季來臨后再度出擊，這樣不停地給他們以打擊，所有羌部落都會(huì)震恐。
劉詢把這份奏章交給趙充國。并下令廣泛征求意見。趙充國跟長(zhǎng)史董通年聯(lián)合上書駁斥辛武賢的意見，說僅僅是一片“空言”。劉詢又把趙、董合寫的奏章交給大臣們討論。大家一致認(rèn)為辛武賢提出的先擊破罕、幵兩部落的主張是個(gè)好主張。劉詢遂任命侍中樂成侯許延壽為強(qiáng)弩將軍、任命酒泉太守辛武賢當(dāng)破羌將軍，并頒發(fā)詔書嘉勉辛武賢的建議。同時(shí)警告趙充國不要再生疑慮，應(yīng)率全軍同時(shí)并進(jìn)。
趙充國仍然上書抗?fàn)?，指出把先零部落放在一旁，而先行攻擊罕、幵兩部落，是“釋有罪，誅亡辜(放掉有罪的，誅殺無辜者)”。一次行動(dòng)，造成兩重傷害，不應(yīng)是陛下的原意。趙充國還援引兵法，指出在敦煌、酒泉兩個(gè)郡的部隊(duì)太少，防守的力量不足的情況下，卻打算先發(fā)制人，是“釋致虜之術(shù)而從為虜所致之道(丟掉誘敵制勝的策略，聽從敵人驅(qū)使的壞主意)”。他仍然堅(jiān)持：只要擊破先零部落，那么罕、幵兩部落就不需一兵一卒自會(huì)臣服。如果先零部落已經(jīng)臣服，而罕、幵兩部落仍然抵抗，等到春季正月再發(fā)動(dòng)攻擊，既合理，也合時(shí)宜。
劉詢終于再下詔采納趙充國的意見。趙充國率軍迫近先零部落陣地。先零部落，屯駐已久，戒備松懈，忽然發(fā)現(xiàn)大軍就在眼前，大起恐慌，就放棄輜重，急渡湟水撤退。道路狹窄，趙充國下令大軍緩緩進(jìn)逼。有人說：逐利宜快，今行太慢。趙充國認(rèn)為，對(duì)待窮寇不能追擊太緊。緩緩進(jìn)逼，他們會(huì)爭(zhēng)先逃亡：追得太緊，當(dāng)他們覺得逃生無望，還會(huì)盡力死戰(zhàn)。指揮官們覺得有道理。這樣，羌軍被擠進(jìn)湟水中淹死的有數(shù)百人，被斬殺及俘虜?shù)挠?00多人，還奪得馬、牛、羊、家畜10萬余頭，車4000余輛。
趙充國率大軍再西進(jìn)，到達(dá)罕幵部落所在地(青海湖畔),趙充國禁止焚燒房屋和堆積在田野中的糧秣。 罕、幵兩部落得到情報(bào)，十分歡喜：“漢王朝果然不把我們當(dāng)作敵人?！鼻蹰L(zhǎng)靡忘派使節(jié)進(jìn)見趙充國，要求準(zhǔn)許他們回到原來的牧地。趙充國轉(zhuǎn)報(bào)皇帝，還沒有得到皇帝的批示，靡忘親自前來晉謁。趙充國設(shè)宴招待，把所俘虜?shù)暮?、幵部落月氏人統(tǒng)統(tǒng)釋放。護(hù)軍以下重要軍官，都爭(zhēng)相提醒統(tǒng)帥：“靡忘是國家的叛徒，不可隨便釋放。”趙充國回答道：“你們都是為了保護(hù)自己，并不是考慮到國家的利益?！痹掃€沒有說完，皇帝的詔書已到，準(zhǔn)許靡忘戴罪立功。
結(jié)果，跟趙充國所預(yù)料的一樣，罕、幵部落竟沒有勞動(dòng)漢王朝軍隊(duì)，即行平定。