赵匡胤建立宋朝后，全国各地的割据势力依然存在。在北方有契丹建立的辽国和辽扶持的盘踞在太原的北汉，而南方则分布着南唐、吴越、后蜀、南汉、南平（荆南）等政权。在湖南和泉州等地方，也还有周行逢、留从效的割据。如何统一全国，宋太祖颇费了一番心思，在和赵普商量后，决定首先集中兵力去统一南方，用南方厚雄的财赋，养北方强大的兵力，然后攻取幽燕十六州，北逐契丹，完成统一大业。为此，宋太祖从公元962年开始，分派众将加强对北边和西北各州的防务，对辽国和北汉形成高压态势，使其不敢轻易犯边。西北既已无虑，剩下的就是竭力攻南方了。

宋太祖首先攻打割据湖南的弱小又近宋的周行逢割据势力。公元962年，恰逢周行逢死亡，其子周保权继位。大将张文表野心膨胀，拥兵自立，割据潭州（今湖南省长沙市）。周保权派人向宋朝求援，愿意称臣，宋太祖因此有了出师的借口。

当时在宋朝和湖南之间还隔着一个弱小的荆南政权，就在宋太祖准备用兵南下的时候，割据荆南的高保勖死，其侄继冲继位。宋太祖遂致书继冲，说要借道荆南，到湖南狩猎。这实际上是宋太祖早就制定好的一举削平荆湖的战略方针，只是他在等待时机。高继冲一接来书，惊慌失措，赶快出城十五里迎候。等他和宋将慕容延钊回到荆州城里，宋兵早已充塞街巷。高继冲大惊失色，只得奉州县图表降宋。宋太祖兵不血刃便灭了荆南。其后宋兵又一鼓作气荡平湖南，一举占领潭州，湖南全境被宋太祖收入囊中。

占有荆、湖之后，宋朝从此取得了战略上的优势，它可以西攻后蜀，东迫南唐，向南还可以直取南汉。

公元964年，宋朝截获了后蜀致北汉书信，信里两国约定联合攻宋。宋太祖这下就西讨有理了。在此之前，宋太祖曾秘密派间谍深入蜀地，探听蜀国虚实，绘制山川形势详图，制定了进军路线和作战方略。这年十一月，宋太祖点兵6万，分为两路。一路以忠武军节度使王全斌为主，自凤州出兵，一路以宁江军节度使刘光义为主，自归州出兵，大举伐蜀。

后蜀国王孟昶听说宋兵来攻，居然任命家童王昭远为西南行营都统。王昭远20多岁，读了几本兵书，像历史上的赵括一样，夸夸其谈，只会纸上谈兵，结果三战三败。战事仅仅进行了66天，后蜀就灭亡了。(www.daowen.com)

公元970年九月，宋太祖命令大将潘美带领大军征讨南汉。南汉建都广州，占有现在的广东全境和广西东部以及越南北部。因为南汉久无战事，士兵不识旗鼓，人主不知存亡。当潘美一举攻下贺州，进克昭州，乘胜占领桂、连二州时，南汉君主刘玢竟然一点危机意识也没有。潘美又直取韶州。公元971年二月，潘美又攻占英、雄二州，直逼广州城。南汉主大惊，这才慌忙将200多个妃嫔和金银财宝装上几十艘大海船，停泊在珠江口，委派自己最信任的一个大宦官乐范负责把守，预备打不过就远走海外。结果，等到兵败之时，刘玢到海边一看，才发现乐范已经带着全体海船早已走得无影无踪了，气得他当时就昏厥过去。万般无奈之下，南汉主刘玢才投降了赵匡胤。

公元974年九月，赵匡胤命令大将曹彬出征江南。其实，南唐自始至终就向宋朝屈服以求自保，每年都要向宋朝贡献大批金银锦绮珍玩。宋朝每次出兵攻灭其他割据政权，南唐后主李煜也都无一例外地遣使贡献犒师。当宋灭了南汉后，李煜大为恐惧，于是向宋朝上表，自动削去南唐国号，称江南国主，企图以对宋朝的奴颜婢膝来换取苟延残喘。赵匡胤在作好了一切准备之后，便发动了毁灭南唐的战争。李煜束手无策，整天在后宫与僧徒道士谈经，求佛保佑。这年十一月，宋军攻进金陵，李煜投降，南唐即灭亡。

占据现在浙江、江苏一带的吴越国主钱俶也和李煜一样，竭力向宋朝进贡表示恭顺。吴越对宋朝唯命是从，构不成一点威胁，只想保留一个国王的称号。但这点可怜的要求，在宋太祖死后马上就破灭了。钱俶贺宋太宗即位去开封朝见时，被宋太宗毫不客气地扣留了下来，被迫献出了吴越的全部土地和人民。

至此，南方只剩下了留从效割据的泉、漳等州。留从效死后，部将陈洪进夺取兵权，公元978年四月，他派人向宋朝进贡，并献出了泉、漳二州，江南最后一个割据势力也被消灭了。

从公元963年起，宋太祖及宋太宗前后只用了10多年的时间就消灭了南方各地的割据势力，统一了全国。宋朝完全统一了南方各地，就把主要的兵力转向了北方的北汉和辽国。从此，宋、辽进入对峙时代。