北京城的基本結構主要形成於元朝，當時為元大都，代元而起的明朝，本來建都南京，然而朱元璋駐守北平的庶子篡奪了皇位，也是後來的明成祖，選擇了北京作為帝國的都城，確認了北京作為帝國中心的基本格局。

明成祖在元大都的基礎上蓋了一座世界最大的都城，將原來的九區四百街擴增到三十六區一千一百七十街，為了排除蒙古人所留下的「晦氣」，夷平原來的宮殿，埋葬於挖溝渠所製造出的泥土之下，將泥土堆積起來的山丘就是今日的景山。按照風水學的看法，景山是為了讓紫禁城背有依靠，抵擋北方下來的陰氣。

在紫禁城外，明成祖於前門設立了商業區域，其中有餐館、茶館、戲院、票號，甚至還有男女娼妓的「窯子」。相較於內城的棋盤式設計，外城的街道則大小寬度不整，長度也互異，蜿蜒的小徑較難管理，盜賊易在衚衕中逃竄，故官方下令夜晚在衚衕的入口設立柵欄，這也是前門衚衕稱為「大柵欄」的原因。

以紫禁城為中心的京城形成了棋盤式的格局，衚衕之中多數是由四合院連線而成，與官方制式的規劃相比，衚衕展現出民間的生命力，從元代至新中國成立之後，整座北京超過七千條的衚衕。

但是，1930年代的喬治凱茲（George Kates）曾經在他所寫的《豐腴年華》之中記錄下北京胡同四合院當中的生活：「時光總是優雅閒散地過去，像溫文儒雅的紳士；這是一個如此獨特的所在，城中奢侈的時光仍堅守原地。」

衚衕在不同時代、不同階層的人當中，印象有好有壞，或許是骯髒、泥濘的所在，也或許是具備古都魅力的優雅。就像每個時代的人、每個城市的人都對自己的城市有所讚美、有所批評，但是衚衕所代表的就是北京的生活情調、地方特色。

「衚衕是北京的第二道城牆。」如果將它們拆毀，「歷史就在我們的眼前被抹去。」作家老舍的兒子舒乙對記者如此說。