据《晋书·刘琨传》记载，刘琨出身于一个官宦世家，其祖父刘迈于曹魏时代官至相国参军、散骑常侍，父亲刘蕃于晋朝亦官至光禄大夫，都属朝廷重臣，而刘琨本人则在二十六岁时被任命为司隶从事。与当时其他的官宦世家子弟类似，年轻时的刘琨依附于当朝权贵，以炫富著称的石崇对刘琨曾有救命之恩，其在河南金谷涧中有座富丽堂皇的别墅，常招四方文人雅士来此吟诗作赋，刘琨当时就参与其中，并且诗歌文章为众人所推许；权臣贾谧执掌朝政大权时，京师权贵无不尽力奉迎、倾心结交，石崇、欧阳建、陆机、陆云等士族都以各自的文才降格屈尊侍奉贾谧，刘琨兄弟亦在其间，这些人号称“二十四友”。

但与这些整日只知享乐、空谈的纨绔子弟又有所不同的是，刘琨心中具有远大的志向，并将其付诸行动。其与好友祖逖闻鸡起舞勤练武艺的故事被收录于《晋书·祖逖传》中，并衍生为现代成语，时刻激励后人勤奋上进。后来听闻好友祖逖被朝廷任用，刘琨在与亲友的书信中也写道：

吾枕戈待旦，志枭逆虏，常恐祖生先吾着鞭。[1]

比起闻鸡起舞，刘琨最值得称颂的地方便于其在孤立无援的情况下独守并州晋阳城（今山西太原市西南）整十载。《晋书·刘琨传》记载，晋怀帝司马炽永嘉元年（307），即匈奴刘渊起兵反晋后的第四年，晋廷宗室成员东嬴公司马腾在并州屡败于刘渊，最后被迫放弃并州，奔走邺城（今河北临漳西），刘琨临危受命，被任命为并州刺史，于当年九月底前往并州驻防。

从洛阳通往并州的道路被匈奴人占据，刘琨只得一路激战冒险挺进。在进入并州疆域后，沿途所呈现的已是一幅百姓白骨横野、四散逃命的凄惨景象。还在路上的他便将这一情况上报朝廷：(www.daowen.com)

臣自涉州疆，目睹困乏，流移四散，十不存二，携老扶弱，不绝于路。及其在者，鬻卖妻子，生相捐弃，死亡委危，白骨横野，哀呼之声，感伤和气。群胡数万，周匝四山，动足遇掠，开目睹寇。[2]

因并州已是残破不堪、百姓流离，刘琨在疏表中请求朝廷调拨谷五百万斛、绢五百万匹、绵五百万斤，朝廷准许了这一请求。

与沿途残破的景象类似，并州太原郡郡治晋阳城内余户不满二万，侥幸存活的人大都“饥羸无复人色”，城中同样是一片“府寺焚毁，僵尸蔽地，荆棘成林，豺狼满道”的残破之景。由于盗贼四起道路不通，刘琨募得勇士千余人，在一路辗转战斗后抵达晋阳，并迅速开展了重建工作，“翦除荆棘，收葬枯骸，造府朝，建市狱”。刘琨还亲自慰劳、安抚返回的民众，得到百姓拥护。