在与羊祜对峙多年后，陆抗于凤凰三年（274）秋去世。临终前，陆抗最后一次上疏吴帝孙皓，他在奏章中提到西陵、建平等蜀地下游重镇是“国之蕃表”，称现在蜀亡后孙吴已是两面受敌，如果敌人的战船顺流而下，想救援都来不及，所以恳请增派三万士兵前来驻守西陵。陆抗向孙皓保证：

使臣所部足满八万，省息众务，信其赏罚，虽韩（信）、白（起）复生，无所展巧。（《陆抗传》）

不过，陆抗的一片苦心始终没得到孙皓的重视，最后带着万分遗憾离开了人世。陆抗的去世标志着孙吴再也无人能与西晋抗衡，灭吴的时机已经成熟。羊祜又被晋升为征南大将军，他开始上疏司马炎力陈灭吴大计，后世将这篇疏表称为《请伐吴疏》。

在这篇疏表中，羊祜以灭蜀为例，大意是指出诸如蜀汉、孙吴这些依靠险阻生存的国家，它生存的前提是己方国力必须要与敌国相差无几；如果双方相差巨大，那么“智士不能谋，而险阻不可保也”。现在西晋军队、粮饷多于先前的曹魏，孙皓之暴却侈于刘禅；吴人之困也甚于巴蜀，加之孙吴过分依赖的长江东西长达数千里需要处处设防，没有前线后方之分。如果“巴汉奇兵出其空虚，一处倾坏，则上下震荡”，可以说现在是灭吴的绝佳时机。

十分巧合的是，如同孙皓没有增兵陆抗一样，羊祜灭吴的请求也未得到司马炎的批准。司马炎虽然认同羊祜的意见，但以西北的鲜卑人作乱为由暂时拒绝了灭吴的提议。

咸宁四年（278）八月，羊祜患重病请求回朝，司马炎予以批准，并准许其乘坐车辇上朝，不必行跪拜之礼。在见到司马炎后，羊祜依然不忘力陈灭吴大计，指出吴主孙皓是一名暴君，这是天赐良机，一旦“孙皓不幸而没，吴人更立令主”，那么“虽百万之众，长江未可而越也”。(www.daowen.com)

这一年的冬十一月，羊祜病危，临终前举荐杜预代替自己，随后撒手人寰，终年五十八岁。司马炎丧服痛哭，因为天寒，泪水流过胡须后都已结冰。当时荆襄人正值集市日，听到羊祜去世的消息“莫不号恸，罢市，巷哭者声相接”，即使是孙吴守边将士也为之哀泣，荆州人为给羊祜避讳，将房屋的“户”改称“门”，把“户曹”改为“辞曹”。司马迁在《史记·李将军列传》中提到李广自杀后“百姓闻之，知与不知，无老壮皆为垂涕”，两相对比之下，敌人都为之哀泣、百姓为之避讳的羊祜可以说是有过之而无不及。羊祜和李广一样为人清廉，为官几十年家无余财，司马炎“赐以东园秘器，朝服一袭，钱三十万，布百匹”，并下诏追赠羊祜“侍中、太傅，持节如故”。

晋咸宁五年（279）冬十一月，恰逢羊祜去世刚满一年之际，司马炎正式伐吴。晋军兵分六路，东西合计二十余万人，并由当初羊祜推荐的杜预任西线指挥。杜预先遣八百精兵先行入吴四处点火袭扰，成功迷惑了孙吴守军，吴军都督孙歆亦震恐惊呼：“北来诸军，乃飞渡江也！”[1]最后孙歆亦被杜预活捉。

起初，羊祜还举荐了一个叫王濬的人到蜀地打造战船，王濬的战船巨大无比。“方百二十步，受二千余人。以木为城，起楼橹，开四出门，其上皆得驰马来往”[2]。王濬于晋武帝太康元年（280）春正月从蜀地率领水军顺江而下，一路之上“兵不血刃，攻无坚城，夏口、武昌，无相支抗”[3]，陆抗的儿子陆晏也被晋军斩杀。三月十五日，王濬的楼船攻入吴都建业（即江苏南京），吴帝孙皓投降，孙吴就此宣告灭亡。换言之，当初由羊祜举荐的王濬和杜预最终成为了孙吴的终结者。

孙吴平定后，司马炎更是无法忘记羊祜此前的贡献，在庆功宴上手举酒杯，流着眼泪说：“此羊太傅之功也！”[4]为感念羊祜的功劳，司马炎下诏册封羊祜夫人夏侯氏万岁乡君，食邑五千户，又赐帛万匹，谷万斛。