到618年（大业十四年）农历蒲月，隋炀帝的右屯卫将军宇文明及在江都兵变，勒死了隋炀帝，然后立秦王杨浩为帝，本身做大丞相，随后领兵十万北上，但被李密打败。宇文明及败走魏县（今河北大名东），毒死杨浩，本身称帝，建立郑国。第二年，过了天子瘾的宇文明及在聊城被窦建德杀死。
镇守太原之初，李渊就表示出过人的军事策画。隋炀帝从楼烦巡游到雁门时，被突厥兵包抄，因为李渊的太原兵才得以得救。隋炀帝便让他和马邑郡守王仁恭一同北击突厥。但他们的兵马很少，不敷五千。李渊便选出善于骑射的两千马队，吃住骑射仿效突厥兵，向突厥夸耀武力，等和突厥兵遭受时李渊便命令进犯，成果打败突厥。今后以后，突厥不敢再等闲南下了。
在招降长安失利后，李渊命令攻城，占据以后又命令制止掳掠百姓，遭到百姓们夹道欢迎。在617年（隋大业十三年）的农历十一月，李渊拥立隋代王杨侑为帝，即隋恭帝，改元义宁，尊在江都（今江苏扬州）的隋炀帝为太上皇，李渊为大丞相，封唐王，以武德殿为丞相府（所今厥后李渊便以“武德”为本身在位时的年号），李世民为秦王。这实际是在为今后称帝搞一个过渡。
617年，李渊正式任太原留守，成为一地最高长官。这里粮草充沛，兵员广漠，李渊在此扎下根来，开端积储力量。
李密遭到李渊的复书也是非常欢畅，因而用心于对于东面的隋军。一东一西，两个李姓人开端了较量，但李密最后还是稍逊一筹，败在李渊部下，还丢了性命。
李渊为了稳固太原这块按照地，北面和突厥交好，消弭隐患，南面主如果弹压了历山飞叛逆兵。李渊通过收编其残存，进一步强大了本身的力量。
这时，李渊刚从太原起兵，瓦岗军首级李密便写信给李渊，想和他缔盟共图大计，实际上是想让李渊尊他为盟主。李渊收到信后，非常欢畅，他当时正需求有报酬他反对中原还没有被毁灭的隋朝军队，使他免除后顾之忧，集合兵力拿下长安。因而李渊给李密复书，对李密死力吹嘘，说本身没有代替隋朝之意，这就是李渊本身所说的“卑辞推奖以骄其志”的战略，先麻痹李密，让他反对中原的隋军西进。
617年（大业十二年）农历蒲月十四日的夜里，李渊命李世民在晋阳（即太原）宫城外埋下伏兵。第二天凌晨，李渊和王威、高君雅议事。刘文静领开阳府（太原十八府之一）的司马刘政会到庭中，说有密状给李渊。李渊便让他交上来，但刘会政却不交，说要告的是副留守，只要李渊才气看。李渊假装吃惊地说：“如何会有这类事？”李渊看后便对大师说：“王威、高君雅要勾搭突厥入侵。”因而命人拘系了他们二人。第二天，刚好有突厥几万人围攻太原，这更令人信赖了。李渊趁机将二人杀掉。
第二战是决斗霍邑（今山西霍县）。在霍邑的西北有个贾胡堡，是霍邑的流派，但保卫霍邑的宋须生却没有派兵扼守，李渊由此鉴定宋须生是个无能之辈。
李渊本来做过刺史，在隋炀帝即位之初做了荥阳（今河南荥阳）、楼烦（今山西静乐县）两个郡的太守，厥后任殿内少监、卫尉少卿。公元613年（大业九年），隋炀帝挞伐高丽时，李渊在怀远镇督运粮草。这时，杨玄感操纵民愤举兵反隋，厥后失利。在这期间，李渊受命镇守弘化郡（今甘肃庆阳县），广交天下豪杰，遭到隋炀帝的猜忌。在615年调任山西、河东，达到龙门时，赶上了母端儿农夫叛逆，李渊领兵击败了叛逆兵，收编万余人，气力大增。第二年，他升为右骁卫将军，任太原道安抚大使，今后落脚太原，运营厥后的起家之地。