歸仁園原為唐代宰相牛僧孺的宅園，北宋哲宗紹聖年間，歸中書侍郎李清臣所有。“歸仁”取自孔子的名言“克己復禮，天下歸仁焉”，是唐宋時期洛陽一個裡坊的名稱，因為園子佔據歸仁坊一坊之地，故稱“歸仁園”，是洛陽城內最大的一座私家園林。

牛僧孺，安定鶉觚（靈臺）人，唐朝宰相，牛李黨爭中牛黨領袖（李黨領袖為李德裕，曾任淮南（揚州）節度使、東都（洛陽）留守。

《舊唐書》記載，牛僧孺在“東都”“歸仁裡”建了宏大的園子，並將他任淮南節度使時蒐集的嘉木怪石，運到洛陽。經過數年苦心營建，歸仁園成為“館宇清華”“竹木幽邃”的一處著名私家園林。

歸仁園北臨建春門大街，東臨城垣，東北角即為建春門，其位置在今安樂鎮南董村一帶。歸仁園北宋末年毀於戰火，其最後一任主人是北宋李清臣。

李清臣，魏（河北大名縣）人，宋神宗熙寧年間的進士，與司馬光關係極好，抵制王安石變法，被貶退西京洛陽。他購買歸仁園後，對園林進行認真修繕，增加牡丹亭等景點，引進了諸多牡丹新品種。

據北宋文學家李格非所著的《洛陽名園記》對歸仁園的描述：“北有牡丹、芍藥千株，中有竹百畝，南有桃李彌望……河南（洛陽）城方五十餘里，中多大園池，而此為冠。”

歸仁園植物配置種類繁多，以花木取勝，一年四季花開不斷，可以說是一個百花園。

從《洛陽名園記》中的記載可知，歸仁園以大著稱，唐代時，該園佔據一坊（約375畝）之地。該園東西和南北長均逾一里，自北向南分為三部分：北部種有大面積的牡丹、芍藥，中部種有百餘畝翠竹，南部種植著成行的桃樹、李樹等。

牛僧孺修了一個巨大的湖泊，湖面之大是洛城之冠，湖中有小島，島上立太湖石。白居易曾專門作詩《題牛相公歸仁裡新宅成小灘》讚美歸仁園。

平生見流水，見此轉留連。況此朱門內，君家新引泉。

牛僧儒酷愛奇石，白居易也為牛僧孺園中的太湖石作《太湖石記》，對其在洛陽嗜石篤深摯情作了精彩詮釋。

“撮要而言，則三山五嶽、百洞千壑，覼縷簇縮，盡在其中。百仞一拳，千里一瞬，坐而得之。此其所以為公適意之用也。”

到宋朝，歸仁園依然保有較高的園林品位。如李復《遊歸仁園記》記述中書侍郎李邦直的歸仁園，“南引伊水，舟行竹間”，方塘內“新荷方出，若斂而羞”，“穿深徑，度短橋，登草堂，清池浮軒，竹樹環舍，蓊鬱幽邃，與外不相接，若別造一境”。

李格非寫成的《洛陽名園記》，記述了名重於當時的園林19處。其中有三大牡丹名園，居於首位的便是歸仁園。足見歸仁園在中國園林史和牡丹文化史上的重要地位。