东晋太元八年（383）八月，苻坚集结大军近百万，正式发动南征东晋的战役，意图一统天下，即历史上有名的“淝水之战”。

面对前秦近百万之众，东晋朝廷迅速调集军队，“以玄为前锋、都督徐兖青三州、扬州之晋陵、幽州之燕国诸军事，与叔父征虏将军石、从弟辅国将军琰、西中郎将桓伊、龙骧将军檀玄、建威将军戴熙、扬武将军陶隐等距之，众凡八万”[4]。可以肯定的是，在八万晋军中，谢玄北府兵占了非常大的比例。

战事开始后，秦将梁成与其扬州刺史王显、弋阳太守王咏等率众五万屯于洛涧（今安徽淮南市东淮河支流洛河），沿淮河布防，负责遏制东面晋军的部队。北府兵则趁夜偷袭秦军，龙骧将军刘牢之“率劲卒五千，夜袭梁成垒，克之，斩成及王显、王咏等十将，士卒死者万五千”[5]，此次夜袭一举斩杀秦主将，大破秦军。另外，在《苻坚载记》中也提到了苻坚看到北府军之后的评价：

当时（苻）坚与苻融登城而望王师，见部阵齐整，将士精锐，又北望八公山上草木，皆类人形，顾谓融曰：“此亦勍敌也，何谓少乎！”(www.daowen.com)

当代成语“风声鹤唳”“草木皆兵”便是从这段史料中衍生而出，淝水之战最后以东晋的全面获胜而告终。后世在归纳前秦惨败的原因时，一般都会认为是因为苻坚在战略上出兵贸然，并未考虑北方各民族融合尚未完成的这一先天不足，在战术上又过于轻信东晋降将朱序，方才误中奸计有此惨败。但需要指出的是，北府兵在战事初期主动出击并重创秦军，也为最终的胜利做出了卓越的贡献。

根据《谢玄传》的记载，淝水之战后，谢玄率北府兵继续北攻，又先后获得三次大捷，克复兖、青、冀三州，这些辉煌战绩足可证明东晋北府兵具有超强的战斗力，这支精锐部队也成为了捍卫东晋政权的重要支柱。

在淝水之战后的五年中，组建北府兵的谢安、谢玄相继辞世。太元十五年（390），孝武帝司马曜以后兄王恭都督青、兖、幽、并、冀、徐州晋陵诸军事，并兼兖、青二州刺史，镇京口（今江苏镇江）。北府兵就这样为王恭掌握，其性质也从抵御外寇逐步转变为内部争权火并的工具。