汉使杨信为人刚直倔强，又非贵臣，因而乌维单于待他并不亲近。单于想召杨信到毡帐里，但他不肯放弃旄节。单于也不强求，便坐在穹庐外，接见杨信。杨信开口便道：“若想和亲，就请单于依前言将太子送至长安为质。”单于道：“此非故约。从前的盟约规定：汉朝常常派遣公主来匈奴，还送来一定等级的缯、絮和食物，以此同匈奴和亲，而匈奴也不再骚扰汉朝边境。现在想要违反以前的规定：让我的太子去汉廷做人质，如此则和亲恐怕无望。”于是杨信就回朝了。
匈奴的风俗，见汉使非宫中得宠的宦官而是儒生，就下意识地认为他是来游说的，便想方设法驳倒他的说辞；如果来使是少年，就下意思地认为他是来指责匈奴的，便设法挫败他的锐气。每一次汉使来到匈奴，匈奴人总要给予相应的报复。如果汉廷扣留使者，那么，匈奴也必扣留汉使，并一定要使双方扣留的人数相等才肯停止。
杨信归来后，武帝对结果不满意，便又派王乌出使匈奴。乌维单于欲多得汉朝的财物，又用甜言蜜语来迷惑王乌，欺骗他说：“吾欲入汉见天子，与其当面结为兄弟。”王乌虽然不信，但如实上报。武帝自然也很疑心，但样子还是要做的，便令人为单于在长安修建了官邸。乌维单于说：“请汉廷派贵人为使，否则我不会与之说实话。”武帝依言派一贵人出使匈奴。匈奴以礼相待，亦遣一贵人至长安答谢。也许是水土不服的缘故，匈奴贵人来到长安后就病倒了。武帝得知，令太医好生救治。不想服了几副药后，匈奴贵人还是不幸逝世了。这一年乃元封四年。
武帝自是过意不去，便让路充国佩二千石印缓，任其为使，领人护送匈奴贵人的灵柩回国，并携带了价值数千金的财物，以为葬礼。乌维单于却认为匈奴贵人是汉廷有意弄死的，便好心当做驴肝肺，下令扣留路充国等人。当然，这一切都是表相，事实如何，单于自然知道，只是先前所言，本就是欺骗王乌，他本人根本无意入汉朝见天子，也无意遣太子入汉为质，因而有意借题发挥，给自己一个台阶下。此后，单于屡次派出奇兵，侵扰汉廷的边塞。武帝任命郭昌为拔胡将军，同浞野侯赵破奴皆屯兵朔方以东，以防御匈奴。
元封五年（公元前106年）的一天，武帝正在皇宫内悠然地吃饭，忽然，有人急匆匆地来报：大司马大将军卫青薨。武帝大惊，右手陡然乏力，不觉筷子掉落在地，呆了半晌，叹道：“朕又折一臂矣！”左右闻言皆啜泣。沉默良久，武帝复又叹息数声，道是大将军一去，军中便无人可为帅再大规模北击匈奴了，唉，早知如此，就应当早做打算了。然而，纵然时光倒流，恐怕也只能再做此叹息，因为这是有原因的。自元狩四年（(公元前119年）至元封五年的的十四年间，相比从前，汉马已大为减少，兼之又南平两越，东伐朝鲜，击羌、西南夷，因而牵扯了朝廷大部分的注意力，是以难以抽出力量，再大规模的讨伐匈奴。
大司马大将军卫青这一生，当真是一个传奇，起于微末，后来则扶摇直上，声名赫赫。卫青领军出击匈奴总计七次，无一败绩，斩获总计五万余人；其傲人的战绩中，与单于那一场大战最为显眼，次则收复河南地，再次则为收复并设置朔方郡。每立功一次，卫青的食邑便有所益封，后来总共增加至一万六千三百户得益于他的战功，其三子亦封为侯，食邑各一千三百户；是以卫家的食邑总数为二万零二百户。卫青的部属中，裨将及校尉一级的人物，封侯者共达九人；其余成为特将——即能独当一面之将者，总共十五人。李广、张骞、公孙贺、李蔡、曹襄、韩说、苏建等人，为卫青的部将中最耀眼者。
卫青逝世后，为纪念他的彪炳战功，表彰他的赫赫功勋，武帝命人于茂陵东北、与霍去病墓相毗连处，为卫青修筑了一座形似穹庐和山丘的陵寝。陵墓中陪伴卫青的，为先他故去的平阳公主。
《谥法》曰：“以武立功，秉德尊业曰烈”。因卫青功劳显著，故谥号为“烈”，后人亦尊称为“长平烈侯”。
卫青逝世的消息传到匈奴之后，与当初听闻霍去病逝世后一样，匈奴人皆置酒设宴，以庆贺强敌的故去，庆幸己方的生存几率又大了许多。
元封六年，在位十年的乌维单于去世，其子詹师庐继位，因其年少，故号为儿单于。自此之后，单于率部日益向西北迁移，其左方的军队可直达云中，右方的军队可轻易到达酒泉郡和敦煌郡。
过了一些时候，匈奴的左贤王也去世了。武帝派出两位特使，一位吊唁单于，一位吊唁右贤王，想以此离间他们的君臣关系，使国家混乱。可惜天不遂人愿。使者进入匈奴之后，接待者把他们全部送到单于那儿。单于明晰了汉使的用意后，勃然大怒，就把他们全部扣留了。这个时候，汉使被扣留在匈奴者前后共有十多批；匈奴使者来到汉廷，汉廷也扣留相等数量的匈奴使者。