重建城市仅仅只是一个开始，《晋书·怀帝纪》载，彼时并州诸郡为刘元海（刘渊字）所陷，刺史刘琨独保晋阳，晋阳也就成了一个名副其实的“孤岛”。刘渊大军驻扎在离石（今山西吕梁），与晋阳相距不过三百里，时刻威胁着晋阳城的安全。为了瓦解刘渊，刘琨秘密遣人离间匈奴各个部落，挑动匈奴人内斗，最终获得巨大的成果，匈奴人发生内讧，“降者万余落”，刘渊也被迫撤至蒲子（今山西交口）。刘琨治理晋阳不足一年，城中已“流人稍复，鸡犬之音复相接”，渐渐恢复了生机。

永嘉五年（311），刘渊之子刘聪攻破晋都洛阳，怀帝司马炽被俘。

永嘉六年（312）七月，刘聪之子刘粲又一度趁虚攻陷晋阳，太原郡守高乔投降，刘琨父母都被杀害。刘琨向鲜卑人猗卢借兵并力反攻刘粲，此役刘粲“大败之，死者十五六”，刘琨虽乘胜追击，但一时也不能完全消灭刘粲，双方罢兵。猗卢留下部将箕澹、段繁等助守晋阳后退还，刘琨志在复仇，但力量单薄无法实现，只得暂时移居于阳邑（今山西晋中），以招集散失的旧部。

建兴元年（313），于长安继位的晋愍帝司马邺拜刘琨为大将军，都督并州诸军事。彼时的刘琨处境更加不乐观：原刘聪麾下大将、羯人石勒势力逐步强大，于愍帝建兴二年（314）三月攻陷幽州，杀州牧王浚等万余人，石勒又占据襄国（今河北邢台西南），集结大军意图夺取并州。刘琨北面需要应对石勒，南面又得提防刘聪，可以说是腹背受敌，处境困难到了极点。但他怀有国仇家恨，不可能退缩，于是联合凉州刺史张轨坚持与刘聪作战，一度“王旅大捷，俘馘千计”，在上疏司马邺时也斩钉截铁地言道：

臣与二虏，势不并立，聪、勒不枭，臣无归志。[3](www.daowen.com)

建兴三年（315），司马邺又遣使持节来并州拜刘琨为司空，都督并、冀、幽三州诸军事。刘琨上表推辞司空之衔，接受了都督之位。

建兴四年（316）春三月，被晋廷册封为代王、一直以来支援刘琨作战的鲜卑人猗卢因部族内讧被杀，刘琨的儿子刘遵先前在猗卢处为人质，猗卢死后其部众都归附了刘遵。刘遵与猗卢旧部箕澹等人“帅卢众三万人，马牛羊十万”奔赴晋阳，刘琨由此又壮大了力量。

当年十一月，石勒围攻并州乐平郡（郡治今山西昔阳），郡守韩据向刘琨求援。刘琨遣箕澹领步、骑二万人为前驱，自己率军为后继增援乐平。但石勒久经沙场，预料到会有援军到来，其率先占据险要地势进行伏击，结果箕澹军“大败之，一军皆没”，此役使得整个并州为之震动。最终韩据放弃乐平出逃，刘琨的长史李弘又以整个并州叛降石勒，也正是在这个月，西都长安又被刘渊养子刘曜攻破，晋愍帝司马邺被俘，西晋灭亡。