汉朝建立之初，北方匈奴趁中原正值内乱，悍然跨越秦、赵、燕长城，对北方地区进行惨无人道的烧杀抢掠。由于此时的长城年久失修，且汉廷没有余力在此驻军，匈奴竟逐渐习以为常，反复南下掳掠，对汉朝的初期发展造成了巨大的影响。

高祖刘邦、汉惠帝、汉文帝、汉景帝这四位汉初皇帝，为了王朝稳定不得不对匈奴实行怀柔政策，以和亲、进贡等方式换取边界稳定。

元狩二年，匈奴人再次进犯河西，掠夺财物、牲畜不计其数。只不过，这一时期的西汉王朝已与建国初期不可同日而语，汉武帝立即对匈奴采取了多次军事行动，均将匈奴击溃。将匈奴人赶出河西之后，汉武帝开始向该地区移民，大力支持农业开发，并于边境驻扎守军，修建长城，防止匈奴再次进犯。

公元前127年，汉武帝向匈奴宣战，汉军兵分两路向北征讨匈奴军：

汉军主力由李息统领，由代郡出发，目标是匈奴的主力部队；

卫青所率领的奇袭军则自云中出发，偷袭匈奴右方。

卫青一路所向披靡，沿着黄河向西横扫陇西，战无不胜，最终，光复河套地区。此后，汉武帝采纳了主父偃的提议，于河套地区设立朔方郡，又移民了十万百姓从事农业活动。在朔方城秦万里长城原址的基础上，汉武帝又命苏建对该段长城进行翻修和扩建。