刘渊称王后不久，晋朝的东嬴公·司马腾便派出将军聂玄来讨伐他。两军大战于大陵，聂玄大败。刘渊趁势而进，遣其将刘曜攻略太原，并一举拿下泫氏（今山西省高平市境内）、屯留（今山西省长治市境内）、长子（今山西省长治市境内）、中都（今山西省平遥县境内）。一时间军威大振。
当时，晋朝的并州刺史·刘琨据有晋阳（刘渊曾派其将刘景要击刘琨于版桥，为刘琨所败。琨遂据晋阳。事见《晋书·载记第一》），侍中刘殷、王育向刘渊献策：
“殿下自起兵以来，渐已一周，而颛守偏方，王威未震。诚能命将四出，决机一掷，枭刘琨，定河东，建帝号，鼓行而南，克长安而都之，以关中之众席卷洛阳，如指掌耳。此高皇帝之所以创启鸿基，克殄强楚者也。”（《晋书·载记第一》）
这一段话语俨然为刘渊规划好了日后之所图，刘渊高兴地说：“此孤心也。”于是，刘渊进据河东，攻克平阳、蒲坂等处。北方诸豪，“上郡四部鲜卑陆逐延、氏酋大单于征、东莱王弥及石勒等并相次降之，”“元海悉署其官爵。”（《晋书·载记第一》）刘渊的实力已臻全盛。
而此时的晋廷，正值晋惠帝逝世，晋怀帝·司马炽接任大位之时。晋惠帝的死，据说是因为吃了有毒的饼而导致中毒身亡的。也有说法，认为毒杀晋惠帝的正是东海王·司马越。
晋永嘉二年，即公元308年，刘渊称帝，“大赦境内，改元永凤”（《晋书·载记第一》）。刘渊依太史令宣于修之之议，迁都平阳。当时，有人在汾水中发现了一枚玉玺，上面刻着“有新保之”四字。
据称，这枚玉玺乃是王莽时代之物。这个发掘玉玺的人又在玺上加刻了“渊海光”三个字，并将其献给了刘渊。刘渊见了这枚玉玺，认为这是上天赐下的瑞兆。因为这枚玉玺是在汾水中被发现的，所以刘渊便下诏，改元河瑞。（这件事在《晋书》和《魏书》中均被提及。不过，《晋书》中记载那名得玺之人在玉玺上加刻的是“泉海光”三个字。之所以有此不同，是因为《晋书》为唐人所作，他们为避唐高祖·李渊的名讳，所以将“渊”字改为了“泉”字。这样的避讳写法在古代史书中司空见惯。）
大位既定，刘渊开始将矛头对准晋朝的都城——洛阳。他命其子刘聪，以及王弥为主力军，刘曜与赵固等为之后援，进兵洛阳。这便是刘渊的“第一次洛阳攻略”。
