秦朝末年，中原内部战争不断，匈奴趁机得以发展，如“诸侯畔秦，中国扰乱，诸秦所徙逋戍边者皆散，于是匈奴得宽，复稍度河南与中原界于故塞”（《史记·匈奴列传》）。特别是冒顿时期，“悉复收秦所使蒙恬所夺匈奴地者，与汉关故河南塞，至朝那，肤施，遂侵燕、代”（《史记·匈奴列传》）。面对冒顿的强势，“汉高祖二年（公元前205年）置陇西、北地、上郡、渭南、河上、中地郡，关外置河南郡。更立韩太尉信为韩王。诸将以万人若以一郡降者，封万户，缮治河上塞”（《史记·高祖本纪》）。汉高祖七年（公元前200年），冒顿出兵四十万攻打太原，汉朝出兵迎战，但最终战争失利，惨遭“白登之围”。此后汉与匈奴的关系便以“和亲”的方式来维持，但汉匈关系并没有因此而改善，冲突与短暂缓和交替进行，因此汉初基本上没有修筑新的长城。“至孝文帝初立，复修和亲之事。其三年五月，匈奴右贤王入居河南地，侵盗上郡葆塞蛮夷，杀略人民。于是，孝文帝诏丞相灌婴发车骑八万五千，诣高奴，击右贤王。右贤王走出塞”（《史记·匈奴列传》）。也有“胡骑人代句注边，烽火通于甘泉、长安。数月，汉兵至边，匈奴亦去远塞，汉兵亦罢”（《史记·匈奴列传》）。甚至连边地都尉都未幸免，“匈奴谋入边为寇，攻朝那塞，杀北地都尉印。上乃遣三将军军陇西、北地、上郡”（《史记·孝文本纪》）。“（汉孝文帝十四年）匈奴单于十四万骑入朝那、萧关……”（《史记·匈奴列传》）。汉朝派“广以良家子从军击胡”（《史记·李将军传》）。所以和亲政策下的汉初至武帝时期并没有换来长期的和平。虽然西汉政府宣称匈奴小人盗边，并未形成大寇，但对于匈奴的扰边，汉初只是针对性地出兵还击，而匈奴的不断南侵，给西汉政府造成了很大的危害。当然，东汉时期也不例外，《后汉书·王霸传》：“建武十三年，是时，卢芳与匈奴、乌桓连兵，寇盗尤数，缘边愁苦。诏霸将弛刑徒六千余人，与杜茂治飞狐道，堆石布土，筑起亭鄣，自代至平城三百余里。”因此，面对以匈奴、羌等为首的游牧民族的不断扰边，汉政府出于自身实力的需要不得不采取防御措施。

由于匈奴不断南侵，对西汉王朝造成很大的威胁。当时北部的陇西、北地、上郡、云中、上谷、辽东等郡，常受匈奴侵扰，匈奴所到之处，不仅毁坏庄稼、抢劫财物，而且抢掠人口、残杀吏民，给当地社会生产带来很大的危害。而且匈奴曾以河西为根据地，在汉初三次入寇陇西，处处威胁着西汉王朝的关陇地区，使西汉处于十分不利的境地。但由于实力的限制，西汉初期只是以防御为主，且当匈奴撤兵后也未有长途追击，更没有主动出击的情况。汉文帝后元六年（公元前158年），汉文帝派中大夫令免为车骑将军，苏意、张武为将军，率大军在今山西、陕西北部和甘肃东北部一带，修缮秦始皇长城，防御匈奴南下。从首都长安到长城沿线，还修筑了许多烽燧，用以传递军情。到了汉武帝时，西汉王朝经过“文景之治”数十年的休养生息，经济实力空前强大，国力达到了鼎盛时期。武帝时期用兵匈奴，首先夺得河套地区，不仅解除了匈奴对长安的威胁，而且扭转了高祖七年（公元前200年）“白登之围”以来的军事劣势。汉武帝元狩二年（公元前121年），武帝派名将骠骑将军霍去病发动了有名的“河西战争”。霍去病率军出北地郡，进攻河西地区的匈奴右部，采取大迂回战术，经居延，奔袭祁连山北麓的匈奴部落，大败匈奴。而后又取得了几次大的胜利，基本解除了匈奴对汉朝的威胁。战争胜利后，在新的疆域新筑长城，巩固已经取得的疆域的安全。(www.daowen.com)

此外，武帝时期，随着丝绸之路的开拓，汉政府为保证丝路的安全畅通，将其战略重点放在河西地区，开始在甘肃河西地区大规模分段修筑长城。《史记·匈奴列传》：太初三年（公元前102年）“强弩都尉路博德筑居延泽上。”《史记·大宛列传》载：“汉武帝益发戍甲卒18万酒泉、张掖北，置居延、休屠从卫酒泉。”居延屯田，位于汉时会水县的北部，其中的一部分（肩水屯田区）就属于现在的金塔县。所以，金塔境内的汉长城除了军事上的防御之外，还起着开发居延屯田、保护通往中亚的交通大道丝绸之路的作用。