在李雄在成都称王的同一年（公元３０４年），北方的匈奴贵族刘渊也反晋独立，自称 汉王。
自从西汉末年起，有一部分匈奴人分散居住在北方边远郡县，他们和汉族人相处久了， 接受了汉族的文化。匈奴贵族认为上代多次跟汉朝和亲，是汉朝皇室的亲戚，后来就改用汉 皇帝的姓刘。曹操统一北方后，把匈奴三万个部落分为五个部，每个部都设部帅，匈奴 贵族刘豹是其中一部的部帅。
刘渊是刘豹的儿子，从小读了许多汉族人的书，力气大，武艺高，能够拉三百斤重的大 弓。刘豹死后，刘渊继承他父亲的职位。后来，在西晋的成都王司马颖（八王之一）部下当 将军，留在邺城，专管五部匈奴军队。
八王混战开始后，匈奴部落里一些贵族们在左国城（今山西离石北）开会商量。有个老 年贵族说：我们匈奴从汉朝开始跟汉人结为兄弟。经过魏、晋两个朝代，匈奴单于后代虽 然有封号，却没有自己的尺寸土地，跟一般百姓没有什么两样。现在晋朝发生内乱，自相残 SHA。这正是我们匈奴人恢复地位的好时机啊！
大家都觉得他的主意对，叫谁来带头呢？大家一议论，认为刘渊有才能，威望高，推他 当单于挺合适。
贵族们派个使者到邺城，把大伙儿的意思告诉刘渊，请他回来。刘渊很高兴，就借口要 回匈奴葬自己的父亲，向司马颖请假。司马颖不同意，刘渊只好让使者先回去，并且要五部 匈奴集结兵力，向南移动。
后来，晋朝的并州刺史司马腾、将军王浚联络鲜卑贵族攻打司马颖，司马颖失败了，逃 往洛阳。刘渊向司马颖要求回去带匈奴兵马来助战，司马颖才让他走了。
公元３０４年，刘渊回到左国城，大伙儿拥戴他做大单于。他集中了五万人马，亲自率 领南下，帮助晋军攻打鲜卑兵。有人问他，为什么不趁这个机会把晋朝灭掉，反倒去帮助晋 军呢？
刘渊说：要灭掉晋朝，还不是像摧枯拉朽一样容易，但是晋朝的百姓未必会向着我 们。我看汉朝立国的年代最长，在百姓中影响大。我们的上代又是汉朝皇室的兄弟。现在汉 朝亡了，我们用继承汉朝的名义，也许可以得民心。
大家听了，觉得是一个好主意。刘渊就宣布自己是汉王。
刘渊称汉王后，很快攻下了上党、太原、河东、平原等几个郡，势力越来越大。一些势 力比较小的各族反晋力量也都来归附刘渊。
公元３０８年，刘渊称汉帝。第二年迁都平阳（今山西临汾西南），集中兵力进攻洛 阳。洛阳的老百姓虽然恨透腐朽的西晋王朝，但是也不愿受匈奴贵族的统治。所以刘渊两次 进攻，都遭到洛阳军民的猛烈抵抗，不得不退兵。
那时候，八王中最后的一个王东海王司马越还在和一批大臣互相仇SHA。晋朝留下的 一点点兵力也消耗得差不多了。
后来刘渊死去，他儿子刘聪接替做汉国皇帝，又派大将刘曜、石勒进攻洛阳。洛阳的军 民奋勇抵抗，但是毕竟寡不敌众。公元３１１年，洛阳城终于被攻陷，晋怀帝做了俘虏。
刘聪进洛阳后，SHA了大批晋朝的官员和百姓，有一次，刘聪举行宴会，让晋怀帝穿着奴 仆穿的青衣给大家斟酒。一些晋朝的遗臣看了，禁不住失声痛哭。刘聪看晋朝遗臣还对怀帝 这样有感情，一发狠，就把怀帝SHA了。
晋怀帝死后，在长安的晋国官员拥立怀帝的侄儿司马邺继承皇位，这就是晋愍（音ｍǐ ｎ）帝。
公元３１６年，刘聪攻下长安。晋愍帝也遭到了怀帝同样的命运，在受尽侮辱后被SHA。 西晋王朝维持了五十二年，终于灭亡。
西晋灭亡之后，北方的各族人民（主要是匈奴、鲜卑、羯、氐、羌五个少数民族）纷纷 起义，他们中间的上层分子乘机起兵，像李雄、刘渊一样建立政权，前前后后一共出现十六 个割据政权，历史上称为十六国（旧称五胡十六国，胡是古时候对少数民族的泛称）。