公元383年，在淝水之戰中，東晉以八萬兵力打敗前秦八十多萬軍隊，成為我國戰爭史上的以少勝多的經典戰例。東晉的軍隊為何戰鬥力如此強悍？因為他們是北府軍，與怯薛軍、夷丁突騎、玄甲軍、岳家背嵬軍並稱“中國古代五大精銳部隊”。

北府軍戰力強悍毋庸置疑，那它是怎麼形成的呢？西晉永嘉之亂後，隨著胡人南下，中原開始逐漸崩亂，北方人紛紛南遷。世家大族在建康（今南京）擁立司馬睿為東晉皇帝有功，門閥掌握朝政大權。

經過一番征戰，前秦逐漸統一北方，給東晉帶來的巨大壓力。東晉的轄境主要就是荊、揚二州，荊州位於上游，地廣兵強，也是抵抗北方勢力軍事南下的重要據點，東晉在此設立了強有力的都督府，兵力佔據朝廷大半。揚州是京畿所在，是國之根本，但是兵力配備上卻遠不如荊州，形成一個弱幹強枝的局面。

一方面為了應對前秦的強大壓力，一方面為了平衡國內荊、揚二州的軍事實力，謝安任命侄兒謝玄為兗州刺史，監江北諸軍事，北鎮廣陵（江蘇揚州），組建北府軍。379年，謝玄領徐州刺史，鎮京口（今鎮江），東晉稱京口為“北府”，故謝玄組建的這支軍隊稱為“北府軍”。

京口（今鎮江）的地理位置非常特殊，北臨長江，南岸有鎮江三山：焦山、北固山、金山，臨水負山，地勢非常險要，是南京東線重要的戰略屏障。古人云：京口東通吳會，南接江湖，西連都邑，亦一都會也。鎮江之於南京，是一線軍防重鎮，其重要性按唐人杜佑的說法，就如同孟津（黃河關口）之於洛陽。北軍要是奪下孟津，洛陽無險可守，南京也是如此。東晉初年，蘇峻作亂，重臣郗鑑坐鎮京口，確保都城無虞。有北府軍鎮守鎮江，東晉都城南京安全就得到保障。

謝玄組建北府兵，是以京口、廣陵為基地進行招募的，面向的是南徐州和南兗州地區，而這兩個地方正是流民最多的地區，北府兵的組成是以北方流民為主的。據記載，僅僅南徐州從北方逃難來的人口就達到22萬，比當地居民還多2萬。

流民的家鄉被北方的胡人佔領，或多或少都和北方的胡人有著仇恨，士氣天然就具有優勢。由於流離失所，為了在亂世之中生存下去，他們不得不選擇抱成一團，殺出一條血路。這種由生存的壓力而帶來的戰鬥力，是其它軍隊無法相比的。而且由於戰友基本都有相同的遭遇，關係上不是父子兄弟就是鄉里鄉親，非常團結。

北府軍名將很多，如劉牢之、何謙、諸葛侃、高衡、劉軌、田洛、孫無終、劉裕等人，不少本來就是流民帥，軍事能力及號召力都很強。如劉牢之，他是彭城（今江蘇徐州）人，驍勇善戰，被謝玄招募為北府兵參軍。劉牢之常領精銳為前鋒，每戰必捷。後來淝水之戰時，劉牢之先是率五千精兵在洛澗大敗前秦的先鋒，擊破前秦十名大將和五萬主力，然後佔淮河渡口，殲敵1。5萬。淝水之戰後，劉牢之更跟隨謝玄北渡黃河進擊前秦。後來的桓玄反叛，就是收買了劉牢之才得以成功。

桓玄吞併北府軍後，殺掉了原北府軍的高素、竺謙之、竺朗之、劉襲、劉季武、孫無終等，然後讓桓修和桓弘分鎮京口和廣陵，至此北府軍基本上已被瓦解。後來劉裕在京口重組北府軍，和原來的北府軍關係已經不大了。辛棄疾很欣賞劉裕：斜陽草樹，尋常巷陌，人道寄奴（劉裕小名）曾住。想當年，金戈鐵馬，氣吞萬里如虎。