正当刘渊在洛阳郁郁不得志的时候，从匈奴部落传来了他父亲刘豹去世的消息，刘渊趁机结束了自己的人质生活，回到自己的部落，成为匈奴左部新帅。过了几年，刘渊又被晋朝任命为建威将军、五部大都督，正式确立了在匈奴五部的领导地位。

这时的刘渊把他所学的儒学经典全部用在了治理部落上，此时他严明刑法，禁止奸邪，轻财好施，推诚接物，五部俊杰都来归附他。

可还没等刘渊高兴多久，因为部落中有人叛逃到了塞外，刘渊也被西晋朝廷罢免了五部大都督的职务，被迫到西晋成都王司马颖的手下当了个有名无实的宁朔将军。

当时司马颖正在与东海王司马越争权，司马越手下的并州刺史司马腾、安北将军王濬带着十多万人马准备攻打司马颖。看到敌人兵力如此强盛，而且还有不少鲜卑、乌桓等少数民族的骑兵助阵，司马颖有点害怕，打算挟持着晋惠帝逃到洛阳。刘渊看到这是个机会，就进言说，愿意带领匈奴五部为司马颖效力。司马颖立刻满心欢喜地封刘渊为北单于，让刘渊去召集匈奴大军为自己助阵。(www.daowen.com)

刘渊回到匈奴五部后，仅用二十天就召集了五万大军，可当他带着人马向司马颖靠拢时，司马颖却早带着惠帝南逃到了洛阳。刘渊心中非常生气，大骂司马颖：“你不用我，自己却逃命去了，真是个奴才！”随后在部下的建议下，刘渊于永兴元年（304）正式称汉王，打出了反晋的旗号。

刘渊回到匈奴五部后，仅用二十天就召集了五万大军。