北漢是五代十國中唯一一個處在北方的國家，它雖然版圖很小，但是由於有契丹勢力的支援，它也成了後周和北宋的心腹大患。以雄武著稱的周世宗柴榮、宋太祖趙匡胤都曾經親征北漢，但均以失敗告終。宋朝建立初期，在趙匡胤、趙光義兄弟二人的努力之下，南方的南唐、後蜀等多個割據政權先後被翦除，中原地區完成了基本統一。在“先南後北”戰略的指導下，趙光義終於可以面對北方的敵人了。

太平興國四年（公元979年），宋太宗趙光義御駕親征，在付出巨大代價之後終於攻破了晉陽城，北漢末帝劉繼元投降，北漢滅亡。

但是，就在吞併北漢不久之後，趙光義便在晉陽城外設定了一個巨大的臨時安置區，將晉陽百姓全部前往此處，隨後下令縱火焚燒了這個有著一千五百多年曆史的古城，旋即將汾水引入這片廢墟之中，晉陽城自此蕩然無存。

趙光義之所以這麼做，固然是因為對負隅頑抗的北漢有著深深的仇恨，但是他更擔心的是北漢處於契丹勢力的覆蓋之下，一旦宋朝軍隊撤出，就很難保證這片國土的安寧。另外，晉陽自古多帝王，長期被人懷疑皇位來路不正的宋太宗，也擔心此地再有帝王崛起，威脅到自己的統治。

三年之後，趙光義派宣徽南院使、都部署判幷州加同平章事，大將潘美（即潘仁美的原型）駐守太原，並讓他在晉陽城附近興建新城。潘美將晉陽新城中的道路設計為丁字形，有人說為的是“釘”住龍脈，實則是潘美為了防止契丹騎兵入城而有意為之。