漢宣帝元康四年(公元前62年),光祿大夫義渠安國巡查到羌中(諸羌部落所在地),諸羌部落中的先零部落，請求準許他們到湟水(治所在今青海樂都)以北，在耕田以外的水草茂盛地方放牧牛羊。義渠安國同意，奏報朝廷。
身為后將軍的趙充國立即彈劾義渠安國擅作主張，但已來不及。諸羌部落有了義渠安國的承諾，便大批渡過湟水，進入中國領土，郡縣無法禁止。
不久，先零部落酋長跟其他部落酋長200余人，宣誓解除過去怨仇，并互相派遣人質。漢宣帝劉詢(公元前73—前49年在位)就此事詢問趙充國的意見。趙充國回顧了諸羌部落出爾反爾的歷史，認為：他們這次行動可能有匈奴在幕后出主意，可能是匈奴的使節(jié)已到羌中活動的結果。中國應在他們發(fā)動叛亂之前，嚴加防范。
幾個月后，“羌侯”狼何(仍留在河西走廊的小月氏民族，位于敦煌陽關西南),果然派出使節(jié)到匈奴汗國借兵，準備攻擊鄯善(原樓蘭，羅布泊西畔)和敦煌，企圖斷絕中國跟西域(新疆跟中亞細亞東部)之間的通道。趙充國認為：狼何不可能想出這種謀略，定有匈奴使節(jié)在其中獻策。到了秋天他們戰(zhàn)馬肥壯的時候，一定會有意外的事變發(fā)生。中央政府應火速派出官員到沿邊要塞加強防御工事，想方設法瓦解諸羌部落的團結，這樣才能消除危機。
于是義渠安國被派往邊塞巡察，了解諸羌部落的動向。義渠安國到了羌中，把先零諸部落30多個頭面人物召集到一塊，當場誅殺幾個出言不遜、驕橫不馴者，并乘先零部落不備，發(fā)動突擊，斬殺1000余人。于是，所有早已歸降中國的羌部落及被中國封為“歸義侯”的羌部落酋長楊玉等，既驚恐，又憤怒。他們再不敢相信漢王朝的信義。就聯(lián)合其他種族部落，攻打城邑，屠殺漢政府官員。義渠安國雖率領幾千騎兵迎戰(zhàn)，還是慘遭失敗。
消息傳來，劉詢派御史大夫丙吉請已年過七旬的趙充國推薦可以擔任大將的人才。趙充國毛遂自薦，認為他最合適。劉詢派人詢問“最合適”的根據(jù)，諸羌部落會有什么發(fā)展，朝廷應派多少軍隊。趙充國回答說：百聞不如一見。我愿先去金城郡(今甘肅蘭州),繪制地圖，擬訂作戰(zhàn)計劃呈報。不過有一點可以肯定，諸羌部落不久就可以平服，陛下不必擔憂。于是，劉詢任命趙充國為西征軍統(tǒng)帥，于公元前61年四月率大軍出發(fā)。
趙充國抵達金城，等籌集到騎兵滿萬人，便準備西渡黃河，而又怕諸羌軍隊堵?lián)?，就在當天夜晚派?個指揮官先行偷渡，在黃河西岸構筑陣地。天色微明時，工事已筑好，大軍就依次全部渡完。此時已有幾十上百個諸羌部落的騎兵出現(xiàn)在營寨附近。趙充國考慮到部隊正精疲力盡，不能奔馳追逐，而敵人又驍勇善戰(zhàn)，而且他們后面可能有軍埋伏，就下令不準出擊。趙充國又派斥侯偵察四望峽(今青海東都西),回報說，那里沒有羌軍把守。趙充國就派出大軍連夜挺進到洛都(今青海西寧)。這時趙充國稍稍松了一口氣，對召集起來的各營指揮官說：“我了解羌人不會用兵。假使他們用幾十人把守四望峽，我們怎么能到這里？”趙充國遂揮師從洛都再向西，進抵西郡都尉府(孟康釋：在金城)每天用豐富的飲食大享戰(zhàn)士，士氣十分高漲。諸羌部落發(fā)動數(shù)次進攻，趙充國堅守不動。從俘虜口中得知諸羌部落互相責備，趙充國打算用威嚴促使罕部落跟幵部落，以及被脅迫的其他一些羌氏族部落改變立場，用來渙散諸羌部落的團結。在他們驚惶、疲憊時，再發(fā)動攻擊。
這時，已從全國各地征調集結到6萬大軍。酒泉郡(治所在祿福，今甘肅酒泉)太守辛武賢上書建議乘夏季七月上旬，攜帶30日糧秣，分別從張掖(治所在得，今甘肅張掖西北)、酒泉出動，在鮮水(即青海)攻擊那一帶的罕、幵兩部落。雖不能夠全殲，但至少可以奪得很多東西。冬季來臨后再度出擊，這樣不停地給他們以打擊，所有羌部落都會震恐。
劉詢把這份奏章交給趙充國。并下令廣泛征求意見。趙充國跟長史董通年聯(lián)合上書駁斥辛武賢的意見，說僅僅是一片“空言”。劉詢又把趙、董合寫的奏章交給大臣們討論。大家一致認為辛武賢提出的先擊破罕、幵兩部落的主張是個好主張。劉詢遂任命侍中樂成侯許延壽為強弩將軍、任命酒泉太守辛武賢當破羌將軍，并頒發(fā)詔書嘉勉辛武賢的建議。同時警告趙充國不要再生疑慮，應率全軍同時并進。
趙充國仍然上書抗爭，指出把先零部落放在一旁，而先行攻擊罕、幵兩部落，是“釋有罪，誅亡辜(放掉有罪的，誅殺無辜者)”。一次行動，造成兩重傷害，不應是陛下的原意。趙充國還援引兵法，指出在敦煌、酒泉兩個郡的部隊太少，防守的力量不足的情況下，卻打算先發(fā)制人，是“釋致虜之術而從為虜所致之道(丟掉誘敵制勝的策略，聽從敵人驅使的壞主意)”。他仍然堅持：只要擊破先零部落，那么罕、幵兩部落就不需一兵一卒自會臣服。如果先零部落已經(jīng)臣服，而罕、幵兩部落仍然抵抗，等到春季正月再發(fā)動攻擊，既合理，也合時宜。
劉詢終于再下詔采納趙充國的意見。趙充國率軍迫近先零部落陣地。先零部落，屯駐已久，戒備松懈，忽然發(fā)現(xiàn)大軍就在眼前，大起恐慌，就放棄輜重，急渡湟水撤退。道路狹窄，趙充國下令大軍緩緩進逼。有人說：逐利宜快，今行太慢。趙充國認為，對待窮寇不能追擊太緊。緩緩進逼，他們會爭先逃亡：追得太緊，當他們覺得逃生無望，還會盡力死戰(zhàn)。指揮官們覺得有道理。這樣，羌軍被擠進湟水中淹死的有數(shù)百人，被斬殺及俘虜?shù)挠?00多人，還奪得馬、牛、羊、家畜10萬余頭，車4000余輛。
趙充國率大軍再西進，到達罕幵部落所在地(青海湖畔),趙充國禁止焚燒房屋和堆積在田野中的糧秣。 罕、幵兩部落得到情報，十分歡喜：“漢王朝果然不把我們當作敵人?！鼻蹰L靡忘派使節(jié)進見趙充國，要求準許他們回到原來的牧地。趙充國轉報皇帝，還沒有得到皇帝的批示，靡忘親自前來晉謁。趙充國設宴招待，把所俘虜?shù)暮?、幵部落月氏人統(tǒng)統(tǒng)釋放。護軍以下重要軍官，都爭相提醒統(tǒng)帥：“靡忘是國家的叛徒，不可隨便釋放。”趙充國回答道：“你們都是為了保護自己，并不是考慮到國家的利益?！痹掃€沒有說完，皇帝的詔書已到，準許靡忘戴罪立功。
結果，跟趙充國所預料的一樣，罕、幵部落竟沒有勞動漢王朝軍隊，即行平定。