在以前的天津市河北區東河沿大街南有條小衚衕叫小鐵道衚衕。這條衚衕恰巧位於北運河的廢河道上。1874年清政府開挖金鐘河，北運河的一段也被改道，原有的一段就成了廢河道，這就是後來的小鐵道衚衕。

舊河道怎麼變成衚衕了呢？袁世凱1902年在天津實行北洋新政。1903年他委託比利時商人海禮在世昌洋行和天津海道唐紹儀簽約，聯合承辦天津電燈電車公司，並於第二年開業供電。比商電燈電車公司選在東河沿大街南的地方，建造了一座發電廠，俗稱電燈房。承擔除英、法、日等租界外的天津其他城區的供電業務。

到七七事變後，1937年7月31日日本侵略軍首先接管該廠，並宣佈該廠由軍隊管理。在日本侵略者的管理下，發電廠的工人們過著暗無天日的生活，勞動非常繁重，其中一項便是清除這座火力發電廠的爐灰。為將其填入附近那條北運河的廢河道，就鋪成了兩股小型鐵道來運爐灰。日子長了，附近老百姓就來這裡撿廢煤核，並稱該地為小鐵道。為了能多撿，許多人乾脆就在小鐵道旁搭起了臨時住棚，日子久了，形成了衚衕，稱為小鐵道衚衕。後來，發電廠廢止，併入他廠。小鐵道衚衕卻仍然存在著，當地人俗稱為小鐵道。

解放後，它已是一條十分整潔的較狹長的衚衕並建有花壇，一直通往唐家衚衕和中山支路。