北方的匈奴一直是汉朝强大的外患，武帝以前的各代皇帝均采取“和亲”的政策。至武帝时，繁荣的经济加上鼎盛的国力，反击匈奴的条件终于成熟了。公元前133年，汉朝与匈奴的友好关系宣告破裂。

公元前127年，匈奴军队袭击上谷等地，杀吏民数千人，并占据河套地区，对长安构成重大威胁。武帝派车骑将军卫青出兵云中发动突袭，歼敌数千人，获牛羊百余万头，完全收复了自秦朝以来被匈奴占领的河套地区。然后在那兴建了朔方城，从内地移民十万人到朔方城定居，充实了边防力量，并成为反击匈奴的前沿基地。

今天甘肃的武威、张掖、酒泉等地因位于黄河以西，自古称为河西，是中原与西域的通道，可是匈奴霸占了河西切断了这一通道。公元前121年3月，汉武帝命骠骑将军霍去病率骑兵一万人，发动了河西战役。霍去病是大将军卫青姐姐的儿子，当时年仅二十岁，他率军跋涉千余里，穿越匈奴所辖的五个王国，连战连捷，军威大振。当翻过焉支山后，终与匈奴主力军迎头撞上，一场短兵相接浴血奋战之后，汉军大胜，杀匈奴卢胡王、折兰王，活捉浑邪王子及相国、都尉等，歼敌8960人，汉军亦伤亡7000余人。匈奴浑邪王、休屠王远逃。同年霍去病再次西征，与合骑侯公孙敖领骑数万，越贺兰山，在黑河流域大破浑邪王、休屠王军队，俘虏其五位偏王、王母及王子59人，斩敌三万余人，2500人投降。这次战役沉重地打击了匈奴王国，令匈奴单于大为光火，对连连战败失去重军的浑邪王及休屠王极为不满，这一下引起内讧，浑邪王杀了休屠王，率众四万余人向汉朝投降，武帝将他们安置在塞外。

公元前119年，不甘心失败的匈奴单于又派兵杀掠边境，汉武帝认为彻底消灭匈奴的天机来临了，他派出十万骑兵分两队深入漠北寻歼匈奴老巢。一队为大将军卫青率李广、赵食其、曹襄等大将，领兵五万出定襄；一队为骠骑将军霍去病率赵破奴、安稽、卫山、李敢等将，领兵五万出代郡。

卫青先探到单于的住地，当发现单于军队后他下令将兵车环绕成战阵以防偷袭，并包围了单于的营阵，单于见汉军势众，料不能敌，只好死战以求脱身。两军激战至深夜，单于一万九千军被歼，只剩得百余骑突围而逃，汉军轻骑追单于至天明，到达窴颜山赵信城，缴获大批屯粮以充军需，尽焚其城与余粮。

霍去病率军北进二千余里，渡过大漠，怡逢匈奴左贤王主力大军，大战之后活捉屯头王、韩王，俘敌70400余人，左贤王弃军逃走，汉军直追至狼居胥山，大奏凯歌而还。

漠北战役是汉与匈奴战争史上规模最大的一役，汉军伤亡数万人，马十一万匹；而匈奴损失最为惨重，两路被歼达九万余人，造成了“是后匈奴远遁，而漠南无王庭”的局面。直至武帝去世，匈奴总的趋势是日渐没落，再也无力对汉朝构成威胁了。