东汉政府与北匈奴关系的缓和，引起南匈奴部分上层的猜忌，以须卜骨都侯为首的一部分贵族勾结部分北匈奴贵族，企图趁机发动叛乱，后因被东汉政府及时发觉，才使其叛乱遭到挫败，但已叛乱的匈奴贵族不断向河西诸郡发动进攻，他们焚烧城邑、杀掠甚众，永平十五年（72），入侵河西，而且胁迫西域诸国一道入侵。永平十六年（73）又入侵云中，云阳，对东汉政府造成很大威胁。事实表明，北匈奴始终是北部边境不安宁的隐患。

鉴于此，东汉的许多将领一再向明帝要求出击北匈奴。明帝也认为与北匈奴势所必战，加之国势逐渐强盛，于是决心遵武帝故事，反击北匈奴。永平十六年（73），明帝派耿秉、窦固等将领率汉军和南匈奴、羌胡等族士兵共四五万人分兵四路出击。窦固与耿忠挺进天山，击破北匈奴呼衍王部，斩首千余级。耿秉部击匈林王，绝幕六百里。

北匈奴势力猖獗的一个重要原因是因为他们控制着西域。本来东汉初年，西域诸国纷纷遣使要求东汉政府在西域重置都护，但刘秀因忙于巩固帝位和怕得罪匈奴，而未予应允，于是北匈奴趁机控制西域绝大部分国家，并胁迫他们共同与东汉王朝对立。所以，不解决西域问题是难以制服北匈奴的，因此，汉王朝在进攻北匈奴的同时，也展开了对西域的争夺，以断其右臂。永平十七年（74），窦固、耿秉率兵征服车师，复置西域都护及戊、己校尉。恢复中断了六十余年与西域的交通。

然而，西域是北匈奴重要的战略基地，岂肯善罢甘休？于是北匈奴与东汉在西域展开了激烈的争夺。永平十八年（75），北单于派骑兵二万进攻戊校尉耿恭、己校尉关宠，接着焉耆、龟兹等又攻杀西域都护陈睦。耿恭率几百戍兵，勇敢机智地同强大的匈奴军队战斗，在众寡悬殊的情况下，在粮尽援绝的绝境中，他们榨马粪汁而饮，煮铠弩上筋革充饥，不屈不挠，坚守到次年三月，终被前来营救的汉军接回，衣鞋破烂、形体枯瘦、面容憔悴”的生还者只剩十三人。经过这次争夺战，东汉王朝几乎失掉对西域的控制，只剩势单力孤的班超继续自愿在西域顽强不屈地抗争。不过，北匈奴在西域的反扑虽连连得手，但这种局面不久便发生了变化：首先是不断有北匈奴人南下归汉，大大削减了其人力；其次，南匈奴和鲜卑等族在汉王朝的支持下不断进袭北匈奴，北匈奴日渐衰弱。章和二年（88），汉章帝死，和帝即位。北匈奴内乱，又遭蝗灾饥荒。南匈奴单于上书请求派兵平定北匈奴。(www.daowen.com)

当时和帝年幼，窦太后临朝执政，她就南单于的上书征询耿秉的意见：“耿秉说，从前武帝用尽全力想臣服匈奴，未碰上时机没能成功，今幸遇天赐良机，北虏分裂相争，以夷攻夷，国家之利，应该答应。”窦太后同意耿秉的建议。和帝永元元年（89），窦宪、耿秉率八千精骑，南单于率骑兵万余及邓鸿率羌胡骑兵八千及南匈奴左贤王骑兵万余分三路出击，与北单于大战于稽落山（今漠北西北部的额布根山），北单于败逃，汉军追击，斩颇多，俘北匈奴部众八十一部，二十多万人慑于汉军兵威，向汉投降。窦宪大军抵达燕然山，刻石而还。次年，南单于又上书要求乘胜击灭北匈奴，于是南单于派八千骑兵会同汉一部分骑兵远征至河云北，北单于受重伤后仅带数十轻骑逃走，其夫人及家属五人均被俘获。永元三年（91），窦宪见北匈奴残余已相当微弱，便又遣左校尉耿夔等率兵远击北匈奴于金微山（今阿尔泰山）。从此北匈奴势力被彻底击溃。北匈奴逃离漠北，后因其故地漠北被鲜卑族所占领，北匈奴便逐步向遥远的西方迁徙（大约三个世纪以后，匈奴人在匈牙利平原建立了国家，并以其强大的骑队，席卷欧洲大部，对瓦解东、西罗马奴隶制国家起了催化作用），匈奴为患的问题也因此解除。

联合南匈奴击北匈奴，就是耿秉回答窦太后询问时所说的“以夷伐夷”之策，共有两次大的协作。若丢开民族歧视的成见，就战争的正义性而论，这种策略应当是符合情理的。南匈奴了解北匈奴，习惯于大漠草原作战，且与北匈奴就近，都是极其有利因素。尽管彻底击溃北匈奴不可全部归功于南匈奴，但南匈奴所起的作用则是不可小视的。