尽管在并州，匈奴五部的力量拥有绝对性的优势，可是从整个北方来看，他们并不具备多少优势。一面单于的旗帜，无法归拢汉人的人心，甚至连其他民族的支持也无法得到。更何况，他的对手是西晋，瘦死的骆驼比马大，人心依旧普遍向晋。所以，刘渊必须要有一个超越民族特性的旗帜——他选择了“汉”。他首先伪造自己的身份，假冒是汉氏后裔，以此来标榜自己是刘氏正统。汉高祖时曾将宗女嫁给冒顿，约定互为兄弟。如果单于和汉帝互为兄弟，那么刘渊不就是汉家的外甥吗？公元304年，十月，刘宣等人给刘渊上帝号，刘渊拒绝说：“今晋氏犹在，四方未定，可仰遵高祖（指刘邦）法，且称汉王。”他不急于称帝而称王，就是要淡化反晋的色彩，争取汉族的人心。即汉王位时，他称刘邦为“我太祖高皇帝”，又称刘秀为“我世祖光武皇帝”，甚至还尊“刘禅为孝怀皇帝”，俨然成了刘邦的“嫡系子孙”。一个匈奴人，却号召着恢复大汉江山，也算是历史的一大奇景。这个策略无疑是成功的，史载“远人归附者数万”，大批士族百姓聚拢在“汉”的旗帜之下。称王的第二年，刘渊便开始向外扩张，进据河东，威逼洛阳，各地的割据势力纷纷投降，比如上郡的鲜卑，盘踞青、徐的王弥，以及占领河北的石勒等。永嘉二年（308）十月，刘渊即皇帝位，这是中国历史上第一次一个胡人登上帝位。刘渊极力掩饰自身的民族性，汉国的制度面貌也充满了中原王朝的气息。制度基本仿照西晋，朝廷有丞相、御史大夫，地方有郡守，就连国都里的门名，都要和洛阳的一致。

　　第二年，汉国大将军击败晋军，将三万男女沉于黄河，刘渊听后大怒道：“你有什么面目再见朕！这是天道可以容许的事情吗？我想要除掉的人，只有司马氏，细民何罪！”不管这话是不是真心的，已经完全是一个中原皇帝的态度。为了统摄境内除了汉人之外的广大少数民族，比如鲜卑、乌桓、氐、羌等，他采取了胡汉分治的办法，以中原的办法对待汉人，以草原的办法对待少数民族。那时的刘渊已经病重。他明白，汉国就是一个潦草建立的国度，遇到的问题翻遍史书也无法找到答案，是坚持胡汉分治，还是统一制度？是坚持草原特色，还是完全汉化？是遮掩匈奴身份，还是自立正统？这些问题他无法解决，但是有一个东西，必须解决，那就是龟缩在洛阳的西晋王朝。如果不灭掉西晋，刘渊依旧是一个反叛者。所以，即位之后，他先后两次派自己的儿子刘聪纠集兵力进攻洛阳，意欲灭亡西晋，但均以失败告终。永嘉四年（310），刘渊去世，留下了一个无比巨大、又无法解决的烂摊子。刘渊死后，汉国陷入内乱，最终刘渊之子刘聪凭借武力，杀掉兄长，夺取帝位。刘聪和其父的人生轨迹很相似，幼年接受汉化教育，弱冠时在洛阳游历，结交名士。

　　后来回到并州，受到匈奴五部的拥戴。在帮助父亲建功立业的时候，刘聪展现了非凡的军事才能。因此，即便刘聪是篡位，推崇武力的匈奴人也不觉得有任何不妥。即位之后，刘聪便将矛头指向洛阳。当时，石勒在洛阳东北的赵、魏一带活动，王弥转战于洛阳东部的兖、豫、青、徐诸州，刘聪则直接控制了洛阳西北平阳、河东、上党等郡，已经对洛阳渐成包围之势。于是，他派遣刘曜、王弥等人领兵进攻洛阳，掳掠了洛阳周边大片土地，并攻陷上百个壁垒。随后，又派前军大将军呼延晏领二万七千人直取洛阳，这一路势不可挡，晋军前后败了十二次，毫无抵抗之力。等到诸军会合，洛阳失去了抵抗的意志，刘曜、王弥等人纵兵劫掠，抢劫财物。刘曜冲入宫中，杀晋太子及诸王公大臣等二十余人，士民死者达三万余人。晋怀帝和羊皇后及传国六玺被移送到当时的汉国都城平阳。史称“永嘉之乱”。刘曜是刘渊的养子，也是一个汉化程度相当高的匈奴人，看见晋室已经在控制中，便想收紧屠刀，禁止王弥大肆劫掠，甚至不惜与其火并。后来双方停战，王弥劝刘曜说：“洛阳天下之中，山河四险之固，城池、宫室不需要再造，可迁都于此。”这时，刘曜却显露出野蛮的一面，放了一把火就走了，气得王弥破口大骂：“屠各子，一点帝王的志向都没有！汝奈天下何！”遂率军还据青州。洛阳在一场大火后沉寂，被俘虏的晋怀帝也受尽屈辱。

　　有一天，刘聪宴请群臣，命怀帝身穿青衣行酒，晋国旧臣看见昔日帝王竟然低声下气服侍他人，起而号哭。刘聪十分厌恶，便找了一个机会，毒死怀帝，处决了晋旧臣十余人。怀帝被杀的消息传到长安，怀帝之侄司马邺即帝位，是为晋愍帝。后来，汉政权又多次进攻关中，均无战果，直到汉建元二年（316），刘曜攻陷长安外城，晋军退内城固守。当时长安城内外断绝，城中无粮，人相食，死者大半，晋愍帝为了不被饿死，出城投降。至此，西晋灭亡。晋愍帝也遭到了和晋怀帝一样的命运，在宴会中被迫与人行酒，在大庭广众之下被刘聪肆意折辱，最后也是被随意地杀掉了。虽然，汉政权攻陷了洛阳、长安，俘怀、愍二帝，灭西晋，但这其中的战事可谓艰难。种种迹象表明，匈奴人没有足够的力量控制洛水、渭水流域。刘聪名义上是中原的共主，但是地方的石勒、王弥等人并不是完全忠心。偏偏就是这般危机四伏的局面，刘聪反而开始享乐。他把国事交给儿子刘粲，一头扎进后宫，两耳不闻窗外事。之后更是设立上皇后、左皇后和右皇后以封妃嫔，造成“三后并立”的局面，最多时有十一人佩戴皇后玺绶，这在历史上也是独一份的。318年左右，刘聪为近臣蒙蔽，杀掉了皇太弟刘乂，株连一万五千余人。刘乂是刘渊嫡子，同时也是氐族首领的外孙，他的死直接导致了匈奴与氐羌联盟的瓦解，“氐、羌叛者十余万落”。汉政权的国力一落千丈。很快，刘聪病死，其子刘粲即帝位。外戚靳准掌权，逐步铲除了刘氏子弟，然后收捕刘粲杀之，将刘氏男女不论少长皆杀于东市，掘刘渊、刘聪陵墓，焚刘氏宗庙。刘聪的坟草都还没长出来，刘家就被屠戮光了。

　　不知道这算不算他残暴不仁的报应？靳准政变后，刘渊一家唯一的独苗就是镇守长安的刘曜了。他轻松地平定了叛乱，并登上了皇帝的宝座，但是令人不解的是，他竟然将国号从“汉”改成了“赵”。不过形势已经变了，风雨飘摇的西晋王朝已经灭亡，以华夏正统自居的东晋政权已移居长江以南，偏居一隅。作为与晋朝争夺合法性的“汉”国号似乎已经没有利用的价值。而多年在北方驰骋的石勒力量不断壮大，此时，刘曜的主要敌人由司马氏变成同为胡族的石勒。胡汉两族之间的冲突和融合不再是唯一的焦点，胡族间不同民族、不同部族的冲突和融合，反倒成为了北方社会的主线。刘曜没有必要再冒充汉室后裔，他可以公开以胡族后裔的身份在中原腹地称帝。他之所以将国号改为“赵”，就是不承认石勒在河北的统治——石勒的势力范围正好就是古时的赵地。刘曜改国号不久，石勒也自称赵王，史称“后赵”。两“赵”相争，必然只有一个能活下去。为了对付石勒，刘曜十分注意笼络关中各民族。关中之地的民族复杂程度，丝毫不亚于并州，匈奴人在这里并没有多少优势。刘曜对这里各部族或拉拢，或打击，或迁徙，逐渐稳定了匈奴人在关中的统治。