小說《雪中悍刀行》中，呂祖過天門而不入，創立武當派，轉世者洪喜象騎鶴下江南，一劍威懾龍虎山；繼任者李玉斧揮劍斬因果，從此世間再無仙人。而呂祖的形象應當是借鑑了八仙之一，道教五祖之一的呂洞賓。

呂洞賓，道教主流全真派祖師。名喦（“喦”或作“巖”），字洞賓，道號純陽子，自稱回道人 ， 河東蒲州河中府（今山西芮城永樂鎮）人，現在山西運城市芮城有元代丘處機奉皇帝御旨興建的永樂宮，屬全國重點文物保護單位，又名大純陽萬壽宮。呂洞賓是道教中的大宗師。目前道教全真派北派（王重陽真人的全真教）、南派（張紫陽真人）、東派（陸潛虛）、西派（李涵虛），還有隱於民間的道門教外別傳，皆自謂源於呂祖。原為儒生，40歲遇鄭火龍真人傳劍術，64歲遇鍾離權傳丹法，道成之後，普度眾生，世間多有傳說，被尊為劍祖劍仙。華軒居士據《全真詮繹》記載，於北宋期間應八仙之首鐵柺李邀在著名仙苑石筍山聚會時列入八仙之列。

唐德宗貞元十四年（公元798年）四月十四生，傳說異香滿室，有白鶴飛入帳中不見，自幼聰穎，十歲便能文，十五歲就能武，精通百家經籍，在襁褓時，馬祖見到就說：「此兒骨相不凡，自市風塵物處。他時遇盧則居，見鍾則扣，留心記取。」

元朝初年，忽必烈得知呂洞賓信奉的道教在群眾中頗為流傳，於是打算利用宗教和呂洞賓的聲望鞏固自己的統治，隨後派國師丘處機管領道教，拆毀“呂公觀”，大興土木，修建了“永樂宮 ”。從修建大殿到繪完幾座殿堂的壁畫，歷時110年，幾乎與整個元朝共始終。

五代以後，時局大亂，人民飽受流徙之苦，他經常現身於世，拯救貧苦百姓。他的劍術一斷煩惱，二斷色慾，三斷貪嗔，對北宋教理的發展，有一定影響。道教全真教奉其為北五祖之一，世稱“呂祖”、“純陽祖師”。

《宋史。陳摶傳》記載：“呂洞賓有劍術，百餘歲而童顏，步履輕快，傾刻數百里，以為神仙，皆數來磚齋中，人鹹異之。”呂洞賓興趣廣泛，虛心好學，廣參賢達，博覽群書，融會貫通，勤於筆耕，留下豐富的著作。他不僅是道教祖師，而且是個詩人，所以受到後人廣泛的敬仰。

相傳呂祖活了二百多歲。