可惜的是，他的理想注定无法在洛阳实现。当时的洛阳爱着胡人，只不过是一种占有式的爱。魏晋的高官们非常喜欢来自并州的胡奴、胡婢。正始年间，陈泰在并州刺史任上拒绝“京邑贵人”请他帮买奴婢的要求，足见当时的风气。这些胡人奴婢基本不会用于耕织，而是用来充当家内的侍奴。贵族之间也流行着“胡物”，比如胡床、貊盘、胡服等等。这种“爱”暗含着对异族的支配，显示着居高临下的优越感。万国来朝，海纳百川，对于这样一种盛世局面，是随后建立的西晋王朝所追求，甚至是刻意营造的。因此刘渊在洛阳最重要的工作，就是出席晋国的各种典礼，作为称贺的一方，接受皇帝的恩赐。如同一个无人在乎的龙套演员，陪着皇帝作秀。就像身为亡国之君的刘禅，还是不得不说出“此间乐，不思蜀”这样的恭维话，以证明蜀亡乃天命所归。同为天涯沦落人，他们的心情可能是相通的。刘渊在洛阳也有朋友，大多是并州的汉人同乡，这些人给了刘渊相当大的帮助。比如太原王氏家族。他们之间的友谊很早就开始了。刘渊七岁时，母亲去世，他哀号痛哭。时任司空的太原人王昶知道后非常赞赏，还派人来吊唁。刘渊青年时在上党学习，与王昶之子王浑成为挚友。后来，任职东南、都督军事多年的王浑向晋武帝推荐刘渊，“陛下若任之以东南之事，吴国定能扫平”，但是马上有人跳出来说“非我族类，其心必异”，此议最后作罢。

　　再比如上党人李熹，秦、凉之地发生动乱的时候，他上书建议委任刘渊为将军，率匈奴五部进剿。但又遭到反对，反对的声音认为：“刘渊如果能平凉州，那才是凉州的劫难。蛟龙得云雨，就不是池中物了。”不过，王浑、李熹等人对刘渊的推荐并不只是出于乡党私情的提携，他们很有可能看中了刘渊背后的匈奴五部。当时并州已是胡、汉杂居多年，并州的士族们不得不基于保全家族的考虑，而去拉拢刘渊。这是一笔稳赚不赔的投资。因为出身，刘渊几次想为朝廷建功立业均碰壁而归。而他也无法离开，因为一旦成为质子，他便处在监视之中。有一日，刘渊在九曲送好友王弥归乡时，流着眼泪说：“王浑，李熹是我的老乡，每当他们在皇帝那儿说我好，谗言就随之而来，这恰恰是害了我。我本无心做官，这一点你是知道的。我恐怕会死在洛阳，永远与你别离。”随着一声叹息，他纵酒长啸，把多年的愤懑倾泻了出来，闻者流泪不止。后来这段话传到了齐王司马攸耳中，司马攸又向皇帝告状：“如果此人不除，并州不得安宁。”生死存亡之际，又是王浑站了出来：“我大晋对远方要施以恩德，怎么凭空无故杀人质呢？”这句话说到司马炎心坎里去了，对啊，吉祥物怎么能说杀就杀呢？杀了还能叫盛世吗？刘渊，就这样侥幸活了下来。来到洛阳二十多年之后，刘渊终于有了施展才华的机会——他被委任为匈奴的北部都尉。这是他当质子以来第一次离开洛阳。从回到老家并州任职，一直到后来因为部落有人叛逃出塞被卸职，一干就是十年。

　　史称刘渊“明刑法，禁奸邪，轻财好施，推诚接物，五部俊杰无不至者。幽冀名儒，后门秀士，不远千里，亦皆游焉”。这段长达十年的任职经历，对刘渊来说非常关键。一方面，他展示了自己的能力，让匈奴五部熟悉并接受了他，而不是像南单于一样成为摆设。另一方面，刘渊也赢得了一些晋人的支持。永康元年（300），掌握宿卫禁军的赵王司马伦起兵杀了把持朝政的贾后、张华等人，后又废惠帝，自立为皇帝，由此引发“八王之乱”。朝中执政者如走马灯，华夷瞩目的洛阳几度沦为战场，皇帝就是任人屠宰的羔羊。如果说西晋是天命所归，那么谁会对这样的天有半点儿敬畏之心呢？就在这时，刘渊也遇到了他的“伯乐”——成都王司马颖。与晋武帝时屡遭猜忌、怀才不遇的境遇不同，刘渊深得司马颖信任，官职逐渐上升，权力越来越大。后来，并州刺史司马腾、安北将军王浚起兵讨伐司马颖，还调动了鲜卑兵马助战。司马颖被吓破了胆，产生了放弃邺城、带惠帝南奔洛阳的想法。刘渊劝司马颖固守邺城，不能南下，以免受制于人，并建议发动匈奴五部之众，进行反击。此说打动了司马颖，于是拜刘渊为北单于，参丞相军事。于是，刘渊得以名正言顺地返回五部。这一次却如同开启了潘多拉盒子，历史走上了司马颖想象不到的异路。当时，并州的匈奴看见天下大乱，已经有了造反的念头，但缺少一个具有声望的领头人。左贤王刘宣等人便把目光放在了刘渊身上，私下将其推举为大单于。

　　刘渊返回五部之后，本来的确是要发兵帮助司马颖的，并没有想直接造西晋的反。在得知司马颖退出邺城、南下洛阳之后，刘渊痛斥道：“司马颖不用我言，溃败奔逃，真奴才也。但我和他有约定，不可不救。”准备派遣步骑两万，迎击鲜卑。刘宣等人眼见大事不成，苦苦谏道：“晋朝无道，像奴隶一样奴役我们。今司马氏父子、兄弟自相残杀，这是老天厌恶晋朝，把机会给了我们。天与不取，反受其咎！”汉人奴役胡人、胡人沦为田客的情况的确有，但不能说晋朝将所有匈奴视为奴隶。这类极端的说法，其实是一种动员的手段。匈奴贵族们丧失了昔日之权力和地盘，受到汉族制度之压抑，在承平之时尚且能够安享荣华富贵，可是一旦天下大乱，他们心中的失落和愤怒就会爆发。刘渊这一生，长期生活在洛阳营造的四方归心的天下秩序之中，在那个世界里，他只是一个点缀。如今他意识到，这个秩序并不是永恒不变的，天命未尝不会眷顾一个匈奴人。同样是造反，刘渊和刘宣的想法，显然是不一样的。刘宣的想法是联合鲜卑、乌丸等民族的力量，重振匈奴的雄威，“复呼韩邪之业”。但是，自小汉化的刘渊想要的更多，他说：“我们该做那高山峻岭，而不是低矮的山丘。大丈夫当为汉高、魏武，呼韩邪何足效哉！”他要当统一中国的汉高祖，或是称雄中原的曹操，而不仅仅成为另一个呼韩邪单于。当皇帝，既是刘渊的野心，也是他的谨慎。