卻說武帝元狩三年秋，匈奴伊稚斜單於起兵複仇，分為兩路，每路各有胡騎數萬，攻入右北平、定襄兩處，殺掠人民千餘人而去。單於得勝回國，料想漢兵必定來攻，遂與趙信計議。
趙信兵敗降胡，單於因其在漢年久，熟知中國情形，甚加寵任，封之為自次王，以其姐嫁之，又築城使之居住。趙信便教單於度過沙漠遷居北方，勿近邊塞引誘漢兵深入，乘其疲困擊之，必能取勝。單於聽從其計，便將人畜悉數移至漠北居住。武帝聞單於移居之計，便召衛青、霍去病等議道：“趙信為單於設計北遷，以為我兵不能遠度沙漠。我今大發士卒多備糧食，剿滅匈奴在此一舉。”元狩四年春，武帝乃命大將軍衛青、驃騎將軍霍去病，各率馬兵五萬、步兵數十萬、公私之馬十四萬匹，分道前進。武帝見霍去病膽略過於衛青，便選取敢戰深入之兵給霍去病，命霍去病兵出代郡，衛青兵出定襄，約期度過沙漠共擊匈奴。二將所領人馬數目相同，惟霍去病部下卻無裨將，遂用李廣之子李敢等為大校，以當裨將。李廣見武帝大舉伐胡，卻不命其為將，心中不悅，遂自向武帝請行。武帝道：“將軍年紀已老，不可再臨戰陣。”李廣一再固請，武帝沉吟良久方才應允，遂拜李廣為前將軍，與左將軍公孫賀、右將軍趙食其、後將軍曹襄俱屬於大將軍衛青。衛青與霍去病領命，帶同將士擇定吉期出發。
衛青兵由定襄出塞，於路捕獲胡人問明單於所在，自率大軍兼程前進。卻命李廣與趙食其合兵取道東行，約期會合。
李廣心想，東行路勢彎曲多需時日，且沿途水草甚少，不能供給大隊人馬，且須分作數隊緩緩而行，此明是大將軍不欲我立大功，所以使我行此遠路，於是對衛青說：“臣所部係前將軍，當為先鋒擊敵。今大將軍乃調臣使出東路，不知何意？且臣束發從戎即與匈奴交戰，直至今日，臣願率領所部效死前敵。”衛青聞言不允其請。李廣便固辭不願東行，衛青見李廣違令，乃用強製手段命其遵令。李廣心中憤怒，也不向衛青告辭，奮然走出，回到自己軍營，會合趙食其領兵就道。
說起衛青與李廣，平日並無仇怨，此次為何不令其為前部呢？隻因臨行之際武帝曾密囑道：“李廣年老命蹇。毋使獨當單於，恐被單於逃走，不得成擒。”衛青既受武帝密囑，自己又與公孫敖至好，公孫敖因前次出師誤了軍期，失去侯爵，現在軍中為校尉，衛青意欲提拔他立功複爵，故調開李廣，以公孫敖代為前部。李廣不知武帝有此言語，隻知衛青欲將公孫敖代己立功，因此憤憤不平。衛青打發李廣去了，自己便催兵北進，行千餘裏度過沙漠。
單於探得漢兵來攻，卻也驚慌，即忙準備迎敵。趙信獻計道：“漢兵度漠遠來人馬疲乏，我可坐待其至信手擒來。”單於便將輜重送往北方，自率精兵駐紮漠北，遠見漢兵到來，列陣以待。衛青防備胡騎馳突，下令用武剛車環繞為營。武剛車乃是一種兵車，車箱四圍皆有板壁，上安小窗以備瞭望，旁開箭眼，四圍環列刀槍，敵騎不得衝突，弩箭不能貫穿，算是當日行軍利器。衛青立定營盤，先遣馬隊五千前往挑戰，匈奴亦遣萬騎迎敵。兩陣對圓正待交戰，此時日已將沒大風忽起，吹得塵沙滾滾撲人麵目，兩軍對麵不能相見。衛青複遣騎兵數萬分為左右翼前進，包圍匈奴。兩下交戰良久，天色已晚，單於見漢兵甚多士馬精強，趁著薄暮乘坐六騾，率領勁騎數百突圍而去。漢兵不知，仍與胡兵力戰至夜，彼此暗中相持，殺傷大略相等。
後來漢軍左校捕得胡人，據說單於未昏之時早已逃去。衛青急發輕騎乘夜往追，自率大軍繼進。此時胡兵也戰得筋疲力盡各自散去。衛青意欲追捉單於，率領將士疾馳一夜，馬不停蹄直到天明，行有二百餘裏，竟不見單於蹤跡。又前行至趙信城，得匈奴積穀。衛青入城駐軍一日，人馬皆得飽餐。到得次日，衛青見匈奴並無動靜，不敢再行深入，遂傳令班師。所餘積穀尚多，於是放起一把火來，將趙信城燒個罄盡，然後起行。
衛青行至沙漠之南，方與李廣、趙食其軍隊相遇。原來李廣、趙食其由東路進兵，路徑不熟，半途迷惑失道，以致遲誤日期，此時方到。李廣見過衛青，回到自己軍中。衛青遣長史持了酒醪幹飯贈與李廣，問二將失道原因，並說要上書天子具報此種情形。李廣明知衛青有意為難，未即對答。長史見李廣不答，便到李廣幕府內責備軍吏，催其即作報告。李廣聞知愈怒，便對長史道：“諸校尉無罪，乃我失道無狀，我當自行上簿便了！”說完即趨至幕府流涕對將士道：“廣自結發從戎，與匈奴大小七十餘戰，有進無退，今從大將軍出征匈奴，大將軍令廣東行，迂回失道豈非天命！我今已六十多歲，死不為夭，怎能再對刀筆吏乞憐求生？”說罷便拔出佩刀自刎而死。一班將士出其不意搶救無及，便即為廣舉哀。後人有詩歎道：
老不封侯命可知，
年衰何必再驅馳？
漠南一死終無益，
翻使千秋得指疵。
卻說驃騎將軍霍去病，率領大軍由代郡出塞，行二千餘裏，正遇匈奴左賢王率眾三十餘萬前來迎敵。霍去病揮兵進擊，連戰數次，漢兵大勝，擒獲匈奴屬王三人，官吏八十三人，捕斬敵首七萬餘級，左賢王率領敗殘兵士逃去。去病奏凱而回。武帝大喜，下詔褒揚霍去病戰功，益封五千八百戶，部下諸將皆得封賞。李敢受封關內侯，食邑二百戶。此時衛青亦率諸將回京，武帝因其不能追獲單於，且所斬敵首不過萬餘級，與霍去病相去甚遠，故衛青不得加封，連部下將士也無封賞。趙食其失道當死，贖為庶人。
是役兩軍共殺匈奴八九萬人，而將士死者亦有數萬人，公私戰馬十四萬匹，及入塞不滿三萬匹。雖然勝得匈奴，所受損失也不少，武帝見霍去病戰功高於衛青，而官位尚在其下，未免有屈，於是設置大司馬一職，下詔命大將軍衛青、驃騎將軍霍去病，皆為大司馬。自此以後，衛青寵幸日衰，霍去病日益貴盛。衛青故人及門下賓客見此情形，多撇卻衛青來投去病。獨有任安一人不肯變節，衛青始知其賢。
李敢怨恨衛青強奪其父前部之職，迫使東行，以致冤憤自殺，便欲為父報仇。一日李敢來與衛青相見，責問其父致死之由。衛青方欲伸辯，李敢突然奮拳擊來。衛青不及提防，身上早被擊傷，連忙走避得脫。論起衛青素有膂力，若與李敢交手，未必鬥他不過，何以竟肯退讓，其中卻有兩個原因。
一則李廣官居前部，本應使為先鋒，卻因私受武帝之命，無故將他調開，依理而言自己究有不是；且李廣因此喪命，無怪其子懷恨，不如暫時忍受以平其氣；二則衛青待人一直寬讓，又兼位大將軍，若與部將之子爭鬥，未免失了體統。有此二因，所以衛青不但不與李敢計較，反當作並無此事，禁止家人傳說，自在家中養傷。李敢見衛青不敢出聲也就罷了。
可是霍去病聽說李敢竟然打傷衛青，不由大怒。霍去病本是衛青外甥，心想我舅度量寬洪偏能忍受，但我須設法替他出氣。霍去病想定主意，外麵卻不露聲色，元狩五年，霍去病與李敢隨從武帝前往雍縣甘泉宮射獵，一班將士正在縱放鷹犬馳逐鳥獸。霍去病向人叢中覷定李敢放了一箭。李敢不知霍去病恨他，未曾防備，明槍易躲暗箭難防，竟被射中要害立時身死。左右見了大驚，急來報知武帝。武帝明知是霍去病射死，無奈心愛去病，不欲使之坐罪，遂命左右拔出箭鏃，將李敢屍首交其家族收葬，隻說是在場射獵時被鹿觸死，霍去病竟然無事。
卻說匈奴伊稚斜單於率領數百騎向西北逃走，及漢兵既去，匈奴大眾尋覓單於十餘日，竟不知其蹤跡所在。於是右穀蠡王乃自立為單於，代領其眾。過了一時，伊稚斜單於又回故處，右穀蠡王乃除去單於之號，仍就故職。統計匈奴兵馬不過數十萬，自經衛青、霍去病等人累次征討，死亡過半，其勢大衰。加以人民一聞漢兵到來，倉皇奔走，懷孕婦女往往墮胎損命，大眾甚以為苦，隻得住居漠北以避兵鋒。趙信勸單於休戰言和，遣使至漢重議和親。武帝令群臣集議，或可或否，聚訟不休。丞相長史任敞道：“匈奴為我軍破敗，怎得與我朝和親？”武帝稱善，便令任敞偕同胡使北往匈奴，數月不聞複命，想是不肯和親被拘留，武帝未免懷憂，臨朝時又提及和親利弊。旁有博士狄山上前說道：“和親最好。”武帝問道：“何以見得？”狄山道：“兵乃凶器，不可屢動。昔高帝受困平城，始議和親，所以孝惠高後之時天下安樂。及文帝欲伐匈奴，北方又苦兵事。景帝自七國亂平，口不言兵，人民富實。今陛下興兵擊胡，中國因之空虛，邊人多致貧困，由此觀之，不如和親。”武帝聽後便問張湯道：“此言如何？”張湯知武帝不欲議和，遂對道：“此乃愚儒無知妄說。”狄山見張湯當著眾人之麵罵他愚儒，心中憤怒，也顧不得勢力不敵，應聲說道：“臣固是愚忠，若禦史大夫張湯乃是詐忠。張湯前治淮南衡山之獄，用苛刻之法，痛詆諸侯，離間骨肉，使藩臣不能自安，臣所以說張湯乃是詐忠。”武帝見狄山指斥張湯，心中大怒，也不與辯論是非，便向狄山作色道：“我讓你出守一郡，你能不使胡虜入寇麽？”狄山說不能。武帝又問他能任一縣否？狄山又說不能。武帝又問他能居一亭障否？狄山不好再辭，隻得說能。武帝便遣他居守一障。才閱一月，狄山竟暴斃，頭顱都不知去向。時人說是為匈奴所殺，其實無從證明。朝臣見狄山枉送性命，以後再也不敢多嘴說和親。但漢兵瘡痍未複，馬亦缺乏，亦不能再擊匈奴。惟將近邊一帶之地占領，移民耕種。又分置吏卒守之，邊境稍得無事。
過了年餘霍去病病死，武帝十分痛惜，諡為景桓侯，賜葬於茂陵之旁。命其子霍嬗嗣襲父爵。
霍嬗字子侯，年紀尚幼，亦得武帝寵愛，拜為奉車都尉。綜計霍去病一生，凡六次出師，殺敵十一萬餘人，又降渾邪王之眾四萬餘人。衛青凡七次出師，殺敵五萬餘人。去病既死，衛青也不再攻擊匈奴。
霍去病去世後，趙破奴繼承其遺誌，帶領他的驃騎軍繼續為強漢帝國建功立業。
漢元封三年，北方戰事再起。西域樓蘭與車師二國在匈奴的指使下，屢屢攔截漢使劫掠漢商隊財物，嚴重破壞絲綢之路的安定與和諧。樓蘭與車師是西域東麵的門戶，漢武帝本就誌在必得，聞此自是大怒，乃遣匈河將軍趙破奴遠征二國。趙破奴不愧為霍去病麾下第一猛將，他竟獨自率領輕騎七百，西出陽關一千六百餘裏，神兵天降，大破樓蘭生擒其王，繼而橫掃車師，兵威直指中亞強國烏孫、大宛。一時間西域震怖，諸國紛紛遣使向漢朝謝罪。漢武帝非常開心，乃封趙破奴為浞野侯。後人有詩讚道：
黃沙百戰穿金甲，
不破樓蘭終不還!
這時匈奴兒單於繼位，年少嗜殺，眾人不安。匈奴左大都尉想殺掉兒單於，暗中派人告訴漢朝說：“我想殺掉單於投降漢朝，漢朝太遠，請立即發兵來迎接我，我就發兵殺掉單於。”於是漢武帝任命趙破奴為浚稽將軍，率2萬多騎兵從朔方郡出發，向西北行進2千裏，與匈奴左大都尉約定日期到浚稽山。趙破奴率軍到了浚稽山後，匈奴左大都尉想發兵攻打單於，陰謀泄露而被誅殺。
匈奴單於發兵攻打趙破奴，趙破奴兵少，且戰且退，路上俘虜了幾千胡兵。趙破奴退到距受降城400裏以外的地方時，被匈奴左賢王的8萬騎兵包圍。趙破奴夜間出去找水，被胡兵活捉，胡兵因此猛攻漢兵，漢兵全軍投降。趙破奴留在匈奴十年，後來和兒子一起逃回了漢朝。
“巫蠱之禍”時，太子劉據兵敗自殺。因為劉據是漢武帝與皇後衛子夫的嫡長子，衛青是劉據的舅舅，霍去病是劉據的表兄弟。巫蠱之禍中，衛青和霍去病的子孫多人被殺，與衛、霍二人有關係的人也受到牽連。趙破奴曾經是霍去病的部將，因此也受到牽連被殺。這是後話
趙信兵敗降胡，單於因其在漢年久，熟知中國情形，甚加寵任，封之為自次王，以其姐嫁之，又築城使之居住。趙信便教單於度過沙漠遷居北方，勿近邊塞引誘漢兵深入，乘其疲困擊之，必能取勝。單於聽從其計，便將人畜悉數移至漠北居住。武帝聞單於移居之計，便召衛青、霍去病等議道：“趙信為單於設計北遷，以為我兵不能遠度沙漠。我今大發士卒多備糧食，剿滅匈奴在此一舉。”元狩四年春，武帝乃命大將軍衛青、驃騎將軍霍去病，各率馬兵五萬、步兵數十萬、公私之馬十四萬匹，分道前進。武帝見霍去病膽略過於衛青，便選取敢戰深入之兵給霍去病，命霍去病兵出代郡，衛青兵出定襄，約期度過沙漠共擊匈奴。二將所領人馬數目相同，惟霍去病部下卻無裨將，遂用李廣之子李敢等為大校，以當裨將。李廣見武帝大舉伐胡，卻不命其為將，心中不悅，遂自向武帝請行。武帝道：“將軍年紀已老，不可再臨戰陣。”李廣一再固請，武帝沉吟良久方才應允，遂拜李廣為前將軍，與左將軍公孫賀、右將軍趙食其、後將軍曹襄俱屬於大將軍衛青。衛青與霍去病領命，帶同將士擇定吉期出發。
衛青兵由定襄出塞，於路捕獲胡人問明單於所在，自率大軍兼程前進。卻命李廣與趙食其合兵取道東行，約期會合。
李廣心想，東行路勢彎曲多需時日，且沿途水草甚少，不能供給大隊人馬，且須分作數隊緩緩而行，此明是大將軍不欲我立大功，所以使我行此遠路，於是對衛青說：“臣所部係前將軍，當為先鋒擊敵。今大將軍乃調臣使出東路，不知何意？且臣束發從戎即與匈奴交戰，直至今日，臣願率領所部效死前敵。”衛青聞言不允其請。李廣便固辭不願東行，衛青見李廣違令，乃用強製手段命其遵令。李廣心中憤怒，也不向衛青告辭，奮然走出，回到自己軍營，會合趙食其領兵就道。
說起衛青與李廣，平日並無仇怨，此次為何不令其為前部呢？隻因臨行之際武帝曾密囑道：“李廣年老命蹇。毋使獨當單於，恐被單於逃走，不得成擒。”衛青既受武帝密囑，自己又與公孫敖至好，公孫敖因前次出師誤了軍期，失去侯爵，現在軍中為校尉，衛青意欲提拔他立功複爵，故調開李廣，以公孫敖代為前部。李廣不知武帝有此言語，隻知衛青欲將公孫敖代己立功，因此憤憤不平。衛青打發李廣去了，自己便催兵北進，行千餘裏度過沙漠。
單於探得漢兵來攻，卻也驚慌，即忙準備迎敵。趙信獻計道：“漢兵度漠遠來人馬疲乏，我可坐待其至信手擒來。”單於便將輜重送往北方，自率精兵駐紮漠北，遠見漢兵到來，列陣以待。衛青防備胡騎馳突，下令用武剛車環繞為營。武剛車乃是一種兵車，車箱四圍皆有板壁，上安小窗以備瞭望，旁開箭眼，四圍環列刀槍，敵騎不得衝突，弩箭不能貫穿，算是當日行軍利器。衛青立定營盤，先遣馬隊五千前往挑戰，匈奴亦遣萬騎迎敵。兩陣對圓正待交戰，此時日已將沒大風忽起，吹得塵沙滾滾撲人麵目，兩軍對麵不能相見。衛青複遣騎兵數萬分為左右翼前進，包圍匈奴。兩下交戰良久，天色已晚，單於見漢兵甚多士馬精強，趁著薄暮乘坐六騾，率領勁騎數百突圍而去。漢兵不知，仍與胡兵力戰至夜，彼此暗中相持，殺傷大略相等。
後來漢軍左校捕得胡人，據說單於未昏之時早已逃去。衛青急發輕騎乘夜往追，自率大軍繼進。此時胡兵也戰得筋疲力盡各自散去。衛青意欲追捉單於，率領將士疾馳一夜，馬不停蹄直到天明，行有二百餘裏，竟不見單於蹤跡。又前行至趙信城，得匈奴積穀。衛青入城駐軍一日，人馬皆得飽餐。到得次日，衛青見匈奴並無動靜，不敢再行深入，遂傳令班師。所餘積穀尚多，於是放起一把火來，將趙信城燒個罄盡，然後起行。
衛青行至沙漠之南，方與李廣、趙食其軍隊相遇。原來李廣、趙食其由東路進兵，路徑不熟，半途迷惑失道，以致遲誤日期，此時方到。李廣見過衛青，回到自己軍中。衛青遣長史持了酒醪幹飯贈與李廣，問二將失道原因，並說要上書天子具報此種情形。李廣明知衛青有意為難，未即對答。長史見李廣不答，便到李廣幕府內責備軍吏，催其即作報告。李廣聞知愈怒，便對長史道：“諸校尉無罪，乃我失道無狀，我當自行上簿便了！”說完即趨至幕府流涕對將士道：“廣自結發從戎，與匈奴大小七十餘戰，有進無退，今從大將軍出征匈奴，大將軍令廣東行，迂回失道豈非天命！我今已六十多歲，死不為夭，怎能再對刀筆吏乞憐求生？”說罷便拔出佩刀自刎而死。一班將士出其不意搶救無及，便即為廣舉哀。後人有詩歎道：
老不封侯命可知，
年衰何必再驅馳？
漠南一死終無益，
翻使千秋得指疵。
卻說驃騎將軍霍去病，率領大軍由代郡出塞，行二千餘裏，正遇匈奴左賢王率眾三十餘萬前來迎敵。霍去病揮兵進擊，連戰數次，漢兵大勝，擒獲匈奴屬王三人，官吏八十三人，捕斬敵首七萬餘級，左賢王率領敗殘兵士逃去。去病奏凱而回。武帝大喜，下詔褒揚霍去病戰功，益封五千八百戶，部下諸將皆得封賞。李敢受封關內侯，食邑二百戶。此時衛青亦率諸將回京，武帝因其不能追獲單於，且所斬敵首不過萬餘級，與霍去病相去甚遠，故衛青不得加封，連部下將士也無封賞。趙食其失道當死，贖為庶人。
是役兩軍共殺匈奴八九萬人，而將士死者亦有數萬人，公私戰馬十四萬匹，及入塞不滿三萬匹。雖然勝得匈奴，所受損失也不少，武帝見霍去病戰功高於衛青，而官位尚在其下，未免有屈，於是設置大司馬一職，下詔命大將軍衛青、驃騎將軍霍去病，皆為大司馬。自此以後，衛青寵幸日衰，霍去病日益貴盛。衛青故人及門下賓客見此情形，多撇卻衛青來投去病。獨有任安一人不肯變節，衛青始知其賢。
李敢怨恨衛青強奪其父前部之職，迫使東行，以致冤憤自殺，便欲為父報仇。一日李敢來與衛青相見，責問其父致死之由。衛青方欲伸辯，李敢突然奮拳擊來。衛青不及提防，身上早被擊傷，連忙走避得脫。論起衛青素有膂力，若與李敢交手，未必鬥他不過，何以竟肯退讓，其中卻有兩個原因。
一則李廣官居前部，本應使為先鋒，卻因私受武帝之命，無故將他調開，依理而言自己究有不是；且李廣因此喪命，無怪其子懷恨，不如暫時忍受以平其氣；二則衛青待人一直寬讓，又兼位大將軍，若與部將之子爭鬥，未免失了體統。有此二因，所以衛青不但不與李敢計較，反當作並無此事，禁止家人傳說，自在家中養傷。李敢見衛青不敢出聲也就罷了。
可是霍去病聽說李敢竟然打傷衛青，不由大怒。霍去病本是衛青外甥，心想我舅度量寬洪偏能忍受，但我須設法替他出氣。霍去病想定主意，外麵卻不露聲色，元狩五年，霍去病與李敢隨從武帝前往雍縣甘泉宮射獵，一班將士正在縱放鷹犬馳逐鳥獸。霍去病向人叢中覷定李敢放了一箭。李敢不知霍去病恨他，未曾防備，明槍易躲暗箭難防，竟被射中要害立時身死。左右見了大驚，急來報知武帝。武帝明知是霍去病射死，無奈心愛去病，不欲使之坐罪，遂命左右拔出箭鏃，將李敢屍首交其家族收葬，隻說是在場射獵時被鹿觸死，霍去病竟然無事。
卻說匈奴伊稚斜單於率領數百騎向西北逃走，及漢兵既去，匈奴大眾尋覓單於十餘日，竟不知其蹤跡所在。於是右穀蠡王乃自立為單於，代領其眾。過了一時，伊稚斜單於又回故處，右穀蠡王乃除去單於之號，仍就故職。統計匈奴兵馬不過數十萬，自經衛青、霍去病等人累次征討，死亡過半，其勢大衰。加以人民一聞漢兵到來，倉皇奔走，懷孕婦女往往墮胎損命，大眾甚以為苦，隻得住居漠北以避兵鋒。趙信勸單於休戰言和，遣使至漢重議和親。武帝令群臣集議，或可或否，聚訟不休。丞相長史任敞道：“匈奴為我軍破敗，怎得與我朝和親？”武帝稱善，便令任敞偕同胡使北往匈奴，數月不聞複命，想是不肯和親被拘留，武帝未免懷憂，臨朝時又提及和親利弊。旁有博士狄山上前說道：“和親最好。”武帝問道：“何以見得？”狄山道：“兵乃凶器，不可屢動。昔高帝受困平城，始議和親，所以孝惠高後之時天下安樂。及文帝欲伐匈奴，北方又苦兵事。景帝自七國亂平，口不言兵，人民富實。今陛下興兵擊胡，中國因之空虛，邊人多致貧困，由此觀之，不如和親。”武帝聽後便問張湯道：“此言如何？”張湯知武帝不欲議和，遂對道：“此乃愚儒無知妄說。”狄山見張湯當著眾人之麵罵他愚儒，心中憤怒，也顧不得勢力不敵，應聲說道：“臣固是愚忠，若禦史大夫張湯乃是詐忠。張湯前治淮南衡山之獄，用苛刻之法，痛詆諸侯，離間骨肉，使藩臣不能自安，臣所以說張湯乃是詐忠。”武帝見狄山指斥張湯，心中大怒，也不與辯論是非，便向狄山作色道：“我讓你出守一郡，你能不使胡虜入寇麽？”狄山說不能。武帝又問他能任一縣否？狄山又說不能。武帝又問他能居一亭障否？狄山不好再辭，隻得說能。武帝便遣他居守一障。才閱一月，狄山竟暴斃，頭顱都不知去向。時人說是為匈奴所殺，其實無從證明。朝臣見狄山枉送性命，以後再也不敢多嘴說和親。但漢兵瘡痍未複，馬亦缺乏，亦不能再擊匈奴。惟將近邊一帶之地占領，移民耕種。又分置吏卒守之，邊境稍得無事。
過了年餘霍去病病死，武帝十分痛惜，諡為景桓侯，賜葬於茂陵之旁。命其子霍嬗嗣襲父爵。
霍嬗字子侯，年紀尚幼，亦得武帝寵愛，拜為奉車都尉。綜計霍去病一生，凡六次出師，殺敵十一萬餘人，又降渾邪王之眾四萬餘人。衛青凡七次出師，殺敵五萬餘人。去病既死，衛青也不再攻擊匈奴。
霍去病去世後，趙破奴繼承其遺誌，帶領他的驃騎軍繼續為強漢帝國建功立業。
漢元封三年，北方戰事再起。西域樓蘭與車師二國在匈奴的指使下，屢屢攔截漢使劫掠漢商隊財物，嚴重破壞絲綢之路的安定與和諧。樓蘭與車師是西域東麵的門戶，漢武帝本就誌在必得，聞此自是大怒，乃遣匈河將軍趙破奴遠征二國。趙破奴不愧為霍去病麾下第一猛將，他竟獨自率領輕騎七百，西出陽關一千六百餘裏，神兵天降，大破樓蘭生擒其王，繼而橫掃車師，兵威直指中亞強國烏孫、大宛。一時間西域震怖，諸國紛紛遣使向漢朝謝罪。漢武帝非常開心，乃封趙破奴為浞野侯。後人有詩讚道：
黃沙百戰穿金甲，
不破樓蘭終不還!
這時匈奴兒單於繼位，年少嗜殺，眾人不安。匈奴左大都尉想殺掉兒單於，暗中派人告訴漢朝說：“我想殺掉單於投降漢朝，漢朝太遠，請立即發兵來迎接我，我就發兵殺掉單於。”於是漢武帝任命趙破奴為浚稽將軍，率2萬多騎兵從朔方郡出發，向西北行進2千裏，與匈奴左大都尉約定日期到浚稽山。趙破奴率軍到了浚稽山後，匈奴左大都尉想發兵攻打單於，陰謀泄露而被誅殺。
匈奴單於發兵攻打趙破奴，趙破奴兵少，且戰且退，路上俘虜了幾千胡兵。趙破奴退到距受降城400裏以外的地方時，被匈奴左賢王的8萬騎兵包圍。趙破奴夜間出去找水，被胡兵活捉，胡兵因此猛攻漢兵，漢兵全軍投降。趙破奴留在匈奴十年，後來和兒子一起逃回了漢朝。
“巫蠱之禍”時，太子劉據兵敗自殺。因為劉據是漢武帝與皇後衛子夫的嫡長子，衛青是劉據的舅舅，霍去病是劉據的表兄弟。巫蠱之禍中，衛青和霍去病的子孫多人被殺，與衛、霍二人有關係的人也受到牽連。趙破奴曾經是霍去病的部將，因此也受到牽連被殺。這是後話