今甘肃的武威、酒泉等地，因位于黄河以西，古称河西，又称河西走廊，是内地至西域的咽喉之道。西汉初年，匈奴赶走原居于河西的月氏人以后，将其酒泉地区封给浑邪王、武威地区封给休屠王，借以西控制西域诸国，并南与羌人结盟，共同袭扰汉的西部地区。因而，河西之地对汉匈双方都具有极其重要的战略价值，谁能据之，便可与西域结盟，从而孤立对方。

漠南之战后，匈奴将其中部力量全部转移到漠北，漠南只余东部的匈奴左贤王及河西匈奴两支。虽然左贤王的实力要强于河西匈奴，但河西匈奴因距关中较近，又扼守通西域之道，因而，汉武帝决定先以一部分兵力拖住不断袭扰的左贤王，而以重兵围歼河西匈奴。

元狩二年（前121），汉武帝以霍去病为骠骑将军，率兵万人出陇西，经金城（今甘肃兰州一带）、令居（今甘肃永登一带）、历五王国，激战几日后，找到河西匈奴的主力。霍去病率军越过焉支山（亦名焉耆山，删丹山，位于今甘肃山丹县境内），与匈奴军队短兵相接，杀折兰王，斩卢侯王，诛杀顽抗的敌人，其他全部捉获。俘虏浑邪王子，及相国、都尉，共斩敌和俘虏八千九百六十人，缴获休屠王的祭天金人。浑邪王与休屠王率败军逃遁。

同年夏，武帝命卫尉张骞，郎中令李广率骑兵万余，自右北平出塞，牵制匈奴左贤王的兵力；命骠骑将军霍去病，合骑侯公孙敖率数万骑兵出北地，围歼河西匈奴残部。

李广与张骞分兵两路向匈奴左贤王进击，张骞未按约定的时间赶到会师，李广率的四千骑遭遇左贤王主力，被其四万骑包围。李广将四千骑兵布成圆形阵势，骑士面朝外与匈奴军激战。李广亲以强弓射杀匈奴几名裨将。匈奴畏惧，攻势稍缓。次日，张骞率万骑赶到，左贤王乃撤围北走。(www.daowen.com)

霍去病与公孙敖分兵两路围歼河西匈奴，因公孙敖迷失道路未能参战。霍去病率领轻骑迂回进击，“涉钧耆（今宁夏灵武境内黄河）。济居延（今甘肃额济纳旗一带），遂臻小月氏（未西迁的月氏人），攻祁连山”与浑邪王、休屠王的军队展开激战，“共斩敌和俘虏三万二百，获五王，王母，单于阏氏，王子五十几人，相国、将军、当户，都尉六十三人”，大胜而回。

浑邪王、休屠王连遭败绩，匈奴单于对其十分恼恨，打算召回浑邪王诛杀。浑邪王大惧，拉拢休屠王共谋降汉。休屠王得知单于只欲诛杀浑邪王后，反悔，被浑邪王杀掉，尽并其部以降汉。霍去病率军以受降。浑邪王被武帝封为漯阳侯，其部被安置于陇西、北地、上郡、朔方、云中五郡黄河以南的故塞之外。汉武帝下令于河西之地设武威、酒泉、张掖、敦煌河西四郡，移内地百姓屯垦。

在单于率其中部力量远遁漠北之后，匈奴右部只余势单力弱的河西匈奴。汉武帝采取了以部分兵力拖住匈奴左部，而集中力量围诛河西匈奴的策略。霍去病率轻骑迂回进击，由河西走廊以北深入两千多里，突然转而向南，打了浑邪王与休屠王一个措手不及。浑邪王杀休屠王降汉后，河西全部为西汉控制，“金城，河西半南山（今祁连山）至盐泽（今罗布泊）空无匈奴”，匈奴与西域及羌人的联系完全被切断，更加受到孤立，而汉打通了通西域的孔道，密切了西域诸国与内地的联系。