国家灭亡，晋阳失守，十年的心血毁于一旦，此时的刘琨已经彻底陷入绝境，恰逢幽州刺史鲜卑人段匹磾数次写信邀请，刘琨因此率残部前去投奔，段匹磾对刘琨非常敬重，和他结姻亲，约为兄弟。

东晋元帝司马睿建武元年（公元317年），于江南重新建立晋朝的司马睿封刘琨为侍中，太尉，并赠宝刀。刘琨答谢道：

谨当躬自执佩，馘截二虏（指石勒、刘聪）。[4]

换言之，虽然晋阳已失，自己又寄人篱下，但他始终毋忘复仇。这一年，刘琨与段匹磾共谋攻打石勒，但段匹磾的弟弟收受石勒的贿赂，发兵不前，此次出兵只好作罢。

段匹磾兄长去世后，其前去奔丧，刘琨遣子刘群护送，途中遭到已经投靠石勒的段匹磾从弟段末波袭击，段匹磾败走，刘群被俘。段末波以厚礼诱使刘群写信给父亲刘琨，请求刘琨共同攻打段匹磾并许诺推举刘琨为幽州刺史，刘群年少无知，写信给父亲，信使半路被段匹磾手下所获。段匹磾将此信示于刘琨，刘琨义正辞严，对段匹磾言道：

与公同盟，志奖王室，仰凭威力，庶雪国家之耻。若儿书密达，亦终不以一子之故负公忘义也。[5]

段匹磾深知刘琨为人，起初并无为难之意。但其弟段叔军认为鲜卑人之所以受到晋人尊重，无外乎是因其实力强大，可以为晋人所用，倘若刘琨趁己方与段末波相互攻打、两败俱伤之际起事，段氏一族将有灭族之祸。段匹磾素来亲信段叔军，从其言将刘琨软禁。一个多月后，即元帝太兴元年（318）五月初八，段匹磾受东晋权臣王敦指使，终于假借皇帝诏书将刘琨缢杀。刘琨亡时四十八岁，子侄四人一同遇害。

值得一提的是，刘琨善文学，在被囚禁期间写下《重赠卢谌》一诗，诗云：

握中有悬璧，本自荆山璆。

惟彼太公望，昔在渭滨叟。

邓生何感激，千里来相求。

白登幸曲逆，鸿门赖留侯。

重耳任五贤，小白相射钩。(www.daowen.com)

苟能隆二伯，安问党与仇？

中夜抚枕叹，相与数子游。

吾衰久矣夫，何其不梦周？

谁云圣达节，知命故不忧？

宣尼悲获麟，西狩涕孔丘。

功业未及建，夕阳忽西流。

时哉不我与，去乎若云浮。

朱实陨劲风，繁英落素秋。

狭路倾华盖，骇驷摧双辀。

何意百炼刚，化为绕指柔。

这首诗一直为后世所重，寓意深长、婉而有味。“握中有悬璧，本自荆山璆”，开篇以美玉比作出身名门、曾担任自己主簿而现为段匹磾别驾的卢谌，并激励其建功立业，不可荒废才能。随后以姜太公辅佐文王、邓禹投奔光武、陈平解围白登、张良化解鸿门、五贤助力晋文公、管仲辅佐齐桓公六个典故来暗示卢谌设法营救自己。“苟能隆二伯，安问党与仇”指的是值此国家危难之际，他不希望发生内讧，失去段匹磾的助力。后十句则借用孔子的遭遇感叹自己年华已逝但功业未建，身负国仇家恨却陷于囹圄，实是人生的悲哀。最后的“何意百炼刚，化为绕指柔”将诗彻底升华，即用百炼的钢铁化为柔软的线团作比喻，正是诉说了自己由意气风发转向英雄末路的凄凉境遇。可以说，这首诗在字里行间中处处散发着刘琨的悲愤之情。不过卢谌没有过人的智慧才华，只当是普通的诗作予以酬和，和刘琨的愿望相差甚远，可怜刘琨一片苦心，最后化作千古遗憾。

刘琨遭到冤杀后，朝廷考虑到段匹磾的实力足以讨伐石勒，没有为其举哀祭奠，直至太兴三年（320），卢谌、崔悦等原刘琨旧部上表辩冤，而段匹磾又在幽州损失惨重，无力对抗石勒，朝廷这才正式赐刘琨谥号为“愍”，追赠侍中、太尉之职。