西周的平遥是个狭小的土城，是周宣王（公元前827—前782年）为了防御猃狁南侵，而命尹吉甫屯兵修建。当时的遗址就在今日古城的西北处，至西汉时期设平遥为京陵县，成为晋中地区的商贸集散地。到了南北朝，北魏以今山西大同市为都，后南迁洛阳。期间大大促进了周边县城的发展，平遥城也不例外。平遥城自魏朝定址后，至今未变，只是土城堰于明代洪武三年（1370年）扩建改筑为砖石墙，那就是今日的平遥古城墙。著名学者余秋雨在《抱愧山西》中评价：“在山西最红火的年代，财富的中心并不在省会太原，而是在平遥、祁县和太谷，其中尤以平遥为最。”可见平遥是个重要商城。明代中叶的平遥商人足迹遍全国，清代的平遥劲旅商帮则称雄大江南北。平遥自明末清初起，成为中国金融城市之一，曾经繁荣一时。专营汇款业务的金融界行业“票号”，就是在平遥首先创办。当年平遥以“日升昌”为首的八大票号，被誉为“汇通天下”，在全国17个省的45个城市均设有分号，有的票号甚至跟美国纽约、三藩市也有汇兑业务往来。古城票号的发展和历史，促进了中国金融的发展。
平遥古城至今仍能保持古色古香的风格，并非出于偶然。由于历年的战乱、人为破坏及风雨侵蚀，特别是七十年代末期的大水，古城墙严重受损。经多次维修，才回复今日的完整面貌。城内的楼房，也抵不住战火和岁月摧残而破败不堪。1981年，平遥县的工程师根据当时的实际情况，制定了一份《平遥县城市总体规划》，规划在古城内纵横开拓几条大马路，城墙上也要相应开挖8个大出口。当时的古城城墙的东端已掘开了一个出口，正在拓宽马路，并拆去两旁长180米的传统民居房屋群。同年，中国同济大学建筑城市规划学院的阮仪三教授，受山西省委委托，正在榆次市做城市规划工作，《平遥县城市总体规划》送到他手上征求意见。阮教授看后大吃一惊，他早于六十年代在平遥考察，深知古城的价值，于是郑重建议县领导停止这种所谓“建设性的破坏”工作，并和山西省建设委员会商定，由阮协助重新规划平遥。1981年7月，阮教授率领10名研究生和大学生，开赴平遥，重新编制规划，重新安排汽车环行道、上下水道及电缆线的走向，并在古城的西面和南面开辟新区。完成的规划直接送到北京，得到有关专家和负责官员的认可，国家文物局也批拨专款维修城墙。山西省很快批覆了这个规划，于是平遥古城才得以保存下来。