大业十三年（617），起兵诸事都已经准备妥当。六月五日，李渊宣布在晋阳起兵并向太原各个郡县发布了公告，历数了隋炀帝的诸多罪状，并声称自己要拯救天下万民于水火之中。自此，晋阳起兵正式开始，李家父子也即将踏上建立千古伟业的历史征程。

西河郡是太原的大郡，也是太原通往长安的重要通道。面对西河郡的公然反抗，李渊命李建成、李世民等人率兵攻打。西河郡在仅仅五天的时间就被气势高昂的李家军攻破了，为了稳定民心，李世民只下令处斩了西河郡郡丞高德儒，并没有伤害到其他无辜的百姓。

西河郡一役，李家军向天下展现了自己的风范，他们是“清君侧”的仁义之师。西河郡大胜的消息传来，李渊本人也十分赞赏李世民的做法。

六月十四日，李渊宣布在太原成立大将军府，自己任大将军，封刘文静为司马，裴寂为长史。随后李渊又下令成立三军，封世子李建成为陇西公，左领军大都督，统领左三统军；次子李世民为敦煌公，右领军大都督，统领右三统军；剩下的中军则由自己领导；随后又封李元吉为太原郡守，命他留守太原，稳定后方。至此，李唐王朝的政治军事机构可以说是初步形成了。

事情发展到了这里，晋阳起兵已经打下了非常稳固的基础，接下来要做的就是一步步向长安挺进了。一路势如破竹，到达龙门之后，李渊下令将手下的军队分为两部分，由主力部队渡过黄河夺取关中，另一支军队由此向河东进发阻击驻扎在那里的隋朝大将屈突通的部队。兵分两路后，李渊马上率主力部队向河东进发，并在这里顺利地渡过了黄河。与此同时，王长谐和刘弘基的部队也夺下了韩城，并南下切断了蒲津桥。渡过黄河之后，李渊马上率部占领了永丰仓等官仓，而此时万年、醴泉等地的官员都表示愿意归降于他。不仅如此，听闻唐国公兵至，不少豪强子弟、江湖英雄都纷纷来投，李家军一时间又壮大了不少。(www.daowen.com)

旗开得胜的李渊决定一鼓作气，直捣长安。他下令，命世子李建成率军驻扎在永丰仓，守住潼关这个咽喉。李世民等人则率大军由高陵、泾阳、武功、鄂县等地一路向长安进发。更为喜人的是，在行军的过程中，前来投奔的官民数不胜数，到了泾阳，部队人数已经达到了九万人。在这之后，李世民等人的军队又和李神通及后来的平阳公主的“娘子军”汇合，声势更加浩大。

十一月，万事已然具备，李渊下令大军攻城。自从隋炀帝离开长安后，城中本来就守备不足，再加上李家诸军士气昂扬，不日就拿下了长安城，阴世师、骨仪等人被杀。此时，镇守在河东的屈突通闻得长安城破，即刻下令驻扎在河东的隋军向洛阳撤退。然而这一切都在李渊的预料之中，屈突通部在撤退的过程中遭到了刘文静所率部队的围追堵截，被刘文静所俘，押解到长安。到达长安之后，李渊认为他是个将才，将他任命为兵部尚书。

夺取长安之后，十二月，李渊又派人去巴蜀之地招降。按照起义一开始制定的“尊隋”的旗号，李渊在取得了以长安为中心的大片疆土后并没有直接称帝，而是拥立了当时的代王杨侑为帝，并遥尊远在江都的隋炀帝为太上皇。傀儡皇帝杨侑在李渊的扶持下登基后，改大业十三年（617）为义宁元年，而关中，从此就掌控在了李渊手中。