镇守太原之初，李渊就表示出过人的军事策画。隋炀帝从楼烦巡游到雁门时，被突厥兵包抄，因为李渊的太原兵才得以得救。隋炀帝便让他和马邑郡守王仁恭一同北击突厥。但他们的兵马很少，不敷五千。李渊便选出善于骑射的两千马队，吃住骑射仿效突厥兵，向突厥夸耀武力，等和突厥兵遭受时李渊便命令进犯，成果打败突厥。今后以后，突厥不敢再等闲南下了。
李渊惊骇宋须生守城不出，打成耐久战对本身倒霉。李世民却以为能够应战引他出来决斗。因而李渊让两个儿子领几十名马队进城察看，本身将军队分红十几队，从城东南到西南，摆出一副安营攻城的架式。宋须生公然入彀，觉得李渊要攻城，便领兵三万出战。李渊领兵假装后退，让李建成和李世民领兵抢占了东门和南门，堵截了宋须生的退路。在交兵中李渊又漫衍宋须生已经战死的谎言，摆荡了隋军的军心。隋军大败，全军毁灭。宋须生也在被守军用绳索往城墙上提时，被李渊的军头卢军谔跳起杀死。李渊顺利占据了霍邑。
李渊大要上承诺了他的要求，公开里却派长史张宝德监督，等李密分开长安要出关时李渊却命令让他留一半兵在华州（今陕西华县）。这时，和李密同业的张宝德向李渊告发说李密要兵变，实际是张宝德怕李密跑掉本身担不叛逆务。李渊便命李密一人入朝。李密感到大祸临头，便起兵想闯出关去，成果被围歼。在和李密的斗争中，李渊充分操纵了李密高傲高傲的缺点，在开端吹嘘李密，等长安拿下后，李密投奔他时又设想撤除了这个隐患。
在招降长安失利后，李渊命令攻城，占据以后又命令制止掳掠百姓，遭到百姓们夹道欢迎。在617年（隋大业十三年）的农历十一月，李渊拥立隋代王杨侑为帝，即隋恭帝，改元义宁，尊在江都（今江苏扬州）的隋炀帝为太上皇，李渊为大丞相，封唐王，以武德殿为丞相府（所今厥后李渊便以“武德”为本身在位时的年号），李世民为秦王。这实际是在为今后称帝搞一个过渡。
突厥兵固然退去了，但难保不再来。为了从底子上处理题目，李渊给突厥写了手札：“若能从我，不侵百姓，挞伐所得，后代财宝，皆可汗有之。”信中为了稳住突厥，李渊勉强责备地用了臣下的语气，如许做也是为了给南下用兵打扫后顾之忧。究竟证明，李渊的战略收到了预期的结果。
在618年，瓦岗军和洛阳的隋军作战得胜，李密想东山复兴，却遭到了部将们的反对，他只好到长安投奔李渊。李渊热烈欢迎他，当作高朋对待，常称李密为弟，还将表妹嫁给他。但厥后李密又嫌弃官小，对李渊说想回山东收伏部下，帮李渊拿下洛阳。
617年（大业十二年）农历蒲月十四日的夜里，李渊命李世民在晋阳（即太原）宫城外埋下伏兵。第二天凌晨，李渊和王威、高君雅议事。刘文静领开阳府（太原十八府之一）的司马刘政会到庭中，说有密状给李渊。李渊便让他交上来，但刘会政却不交，说要告的是副留守，只要李渊才气看。李渊假装吃惊地说：“如何会有这类事？”李渊看后便对大师说：“王威、高君雅要勾搭突厥入侵。”因而命人拘系了他们二人。第二天，刚好有突厥几万人围攻太原，这更令人信赖了。李渊趁机将二人杀掉。
窦氏的聪明超出了普通人。隋炀帝看到李渊的脸上皱纹多，便戏称李渊是“阿婆”。李渊回了家很不欢畅，窦氏问清启事，顿时道贺道：“这是吉兆啊，你担当的是唐国公，‘唐’便是‘堂’，‘阿婆面’就是指‘堂主’啊！”窦氏指的是李渊将来要做天子，代替隋炀帝。