縉雲山就在江州的邊上，溯嘉陵江而上，與合州交界處。曾經縉雲山也是巴縣與璧山縣的分界山，一邊屬巴縣，一邊屬璧山縣。據清道光版《重慶府志》：縉雲山西接璧山界。《寰宇記》：在縣西一百三十七里，其山高聳，林木密茂，下有泉水，東西分流。《元統志》：山有九峰：朝日、香爐、獅子、聚雲、狼嘯、蓮花、寶塔、玉箋、石照。香爐、獅子峰最秀。左接魚鹿峽入涪江，右人江津縣界，華蓋峰達於岷江，橫亙二百餘里。相思巖在縉雲山，娟秀奇麗，躋其巔者輒徘徊不忍去，故名。巖產紅豆樹，高數丈，實如豆，色正赤，名相思子；又產相思竹，形如桃釵；又有相思鳥，羽毛綺麗，巢竹樹間，食宿飛鳴，雌雄相應，籠其一則一隨之，豈山靈孕秀鍾此情物歟。

——山中幽寺名相思

縉雲山下就是溫湯峽，清道光版《重慶府志》：溫湯峽，府西北一百二十里，峽長五里許，兩巖幽深秀削，古松虯蟠，每月朗風來，松韻與泉聲互答，泠泠然直泛江波，里人鮮與尚有“泉落松門咽峽風”句絕佳。溫泉崇勝寺在峽西南，題詠石刻林立。

在溫泉這個概念上，清道光版《重慶府志》專門評述：巴縣溫泉五，一在溫湯峽，雲根泉瀉，分竇而出。昔人迎流砌池，方廣四丈許，上翼以亭，嚴冬可浴。郡守陳邦器題碑：泉流繞方丈，至佛殿前匯為大池，沸水中綠藻參差，赤魚游泳，復轉迴廊至寺門外懸巖，作瀑布而下，為各溫泉之冠。

——《巴縣誌》中相思巖

南朝劉宋景平元年，時當公元423年，宋少帝短暫在位時期，僧慈應開山建寺於縉雲山香爐峰相思巖下。這就是縉雲寺的開端，時稱相思寺。

南宋時淳熙十五年編成的類書《錦繡萬花谷》中，有摘自《縉雲山志》的內容：縉雲山，黃帝於上合神丹故山得名焉。說明此前已有縉雲山志了，可惜此志早已失傳。

推定成書於唐朝的《軒轅黃帝傳》則明確稱：黃帝往煉石於縉雲堂。於地煉丹，時有非紅非紫之雲見，是曰縉雲，因名縉雲山。

而寺成不過百餘年，吳均在梁武帝時期作的《齊春秋》中稱：渝州相思寺之北，石山有佛跡十三，皆長三尺許，闊一尺一寸，深九寸，中有魚文，在佛堂北十餘步。另外還有傳說，《蜀中廣記》轉載宋靈成侯廟碑雲：此山出於禹別九州島之前，黃帝時有縉雲氏不才子，曰混沌。縉雲氏高辛氏亦有不才子八人，投出於巴賨，以御魑魅。名基於此。山有九峰，寶塔峰最著，亦阿育王塔八萬四千之一也。迦葉尊者於九峰頂上示一十三足，又飭袈裟印文於獅子峰。

總之，縉雲山註定該成為佛寺所在。

——縉雲山圖

這之後歷代留下印記的高僧有唐代幽谷淨滿禪師，宏濟禪師，北宋慧懽禪師，明代永燈大師，清代自然禪師，破空法師，明賢老和尚，念三法師，剛秀法師，智福上人，性一大和尚，勝芳老和尚，常超法師。

唐僖宗賜額相思寺。

宋真宗繼位時，鹹平元年，賜宋太宗御誦梵經240函給相思寺。後又勅賜改相思寺為“崇教寺”，封慧懽為慈印大師。並勅賜溫泉寺為“崇勝禪院”。

宋史載，仁宗天聖元年，即1023年，三月庚辰，相思寺夜有光，出阿育王塔舊址，發之得金銅像三百二十有七。但這數百座銅像的下落卻無人得知。

明成祖永樂五年，御賜縉雲山為“縉雲勝境”。明英宗在天順六年賜縉雲寺為“崇教寺”。明神宗萬曆三十年，賜題“迦葉道場”石坊。

——縉雲寺的明代御筆石坊

明末清初，戰亂不斷，匪患無窮，縉雲寺也被火焚燬，破敗不堪，只有那全國唯一的“迦葉道場”石坊，靜靜地佇立在那裡。

到清順治十七年，1660年，一位叫自然的禪師，從貴州白雲寺來到縉雲山，說法傳道，慢慢重振寺廟。康熙三十一年，自然禪師的弟子破空開始募化集資，準備重建縉雲寺。二十年間，縉雲寺建起了數十間殿閣，往日的斷址荒煙，終成了璇宮紺室。

——縉雲山上巴縣璧山縣界

念三法師，湖南鄧氏，於乾隆三年在縉雲寺拜師，兩年後受具足戒，然後下山，到乾隆十六年回縉雲寺，寺中已大變模樣。廟宇冷清，香火零落，寺產當盡。下面白雲寺更糟，寺產都賣光了。念三法師不敢懈怠，一面弘法，一面蓄資，或索還或贖回寺產，又逐步重修。乾隆二十五年重修天子、天王二殿，並東西兩廊，縉雲白雲二寺的佛像，俱燦金身。到乾隆三十五年方把兩寺的寺產全部收回。

乾隆四十二年，念三法師六十歲時，刻下訓徒碑，言明：自古為僧有二，一要參上乘，二要培修常住，除此二者出家何益。就是說，既要修上乘道，也要為佛留下堂皇的住所，以堅定信念。

到民國初年，嘉陵江三峽一帶，土匪出沒，華鎣山是匪世界，縉雲山也是土匪穿梭的巢穴。甚至有土匪劫持人質後，挾至縉雲寺，各地民團不得不圍攻縉雲寺的事件發生。

——漢藏教理院初成時

在二十世紀二十年代末期，縉雲寺惡名在外，抵當寺產，勒索鄉民，不事禮佛，吸食鴉片。且因地處交界，地方政府不管，峽防局也無權約束。多方投訴，已引起管轄此地的21軍的注意，適逢高僧太虛法師訪渝，機緣巧合，縉雲寺得以成為漢藏教理院所在，遂有光大之日。