北府兵成立于东晋孝武帝司马曜太元二年（377），是由司徒谢安主持，谢安之侄谢玄从避难扬州的徐、兖二州流民中招募骁勇之士组建而成，这支精锐部队的成立主要原因就是为了抵御北方的强敌前秦。

彼时前秦昭宣帝苻坚任用汉人王猛为相，进行了一系列的改革与恢复生产，使得前秦国力日渐强大。苻坚在此基础上统一黄河流域，攻灭前燕、前凉，又对南方的东晋政权发动多次区域性战争，使得晋廷处于“强敌寇境，边书续至，梁益不守，樊邓陷没”[2]的危险境地。在这种巨大的军事压力下，晋廷“求文武良将可以镇御北方者”[3]，司徒谢安推荐其侄谢玄为兖州刺史，领广陵相，监江北诸军事，北府兵也由此应运而生。另《晋书·刘牢之传》中也有关于选拔北府将领的记载：

太元初，谢玄北镇广陵，时苻坚方盛，玄多募劲勇，牢之与东海何谦、琅邪诸葛侃、乐安高衡、东平刘轨、西河田洛及晋陵孙无终等以晓猛应选。玄以牢之为参军，领精锐为前锋，百战百胜，号为“北府兵”，敌人畏之。

此外，在《世说新语》中有两处关于北府兵背景的些许补充。

一是名称问题，见于《世说新语·排调类》注引《南徐州记》，其云：

旧徐州都督以东为称，晋氏南迁，徐州刺史王舒加北中郎将，北府之号，自此起也。

也就是说，对于地处江左的东晋朝廷而言，徐州、广陵属于北境，故有北府之称，谢玄在此地募集的士兵自然被称为“北府兵”。(www.daowen.com)

二是对募集人选的考量，之所以会招募徐州流民为兵，是有一定缘由的。《世说新语·捷悟》注引《南徐州记》载：

徐州人多劲悍，号精兵，故桓温常曰：“京口酒可饮，箕可用，兵可使。”

另《晋书·郗鉴传》中记载，元帝司马睿镇守江左时，以郗鉴为龙骧将军、兖州刺史，出镇邹山，“三年间，众至数万。帝就加辅国将军、都督兖州诸军事”，后来郗鉴向朝廷上疏时又提到：

臣所统错杂，率多北人，或逼迁徙，或是新附，百姓怀土，皆有归本之心。

田余庆先生依据此条史料得出论点，认为招募徐州流民为兵即北府兵的历史可以追溯到郗鉴出镇邹山时期。换言之，彪悍善战而又思归故土的徐州流民一直以来都受到晋廷青睐，是北府兵的不二人选。