由于隋炀帝频繁地用兵高句丽，各地的兵役、力役等劳役都十分严重，已经超出了百姓的负荷能力，尤以河北、山东一带为甚。于是，隋末真正的大起义便在山东拉开了帷幕。大业七年（611），因为连年的无度征兵加上严重的灾荒，山东境内的百姓已经食不果腹，家业凋零。

此时，山东邹平的王薄首先举起了反抗的大旗，在山东章丘的长白山发动了起义。这支起义军在当时影响很大，从众更是不在少数，可惜的是很快就被隋朝军队镇压下去了。

继王薄的长白山起义之后，各地起义军风起云涌，短短两三年间便席卷全国，形成了不可遏制之势。起义军一开始主要集中在山东一省，但到隋炀帝下令二征高句丽之时，已经扩展到了河南、河北、陕西和江南各地。这些起义军在和隋军的作战过程中慢慢地分裂、重组，形成了三股较为强大的力量，分别是河南李密的瓦岗军、河北的窦建德军和江淮的杜伏威军。

李密的瓦岗军原本是翟让于大业七年（611）在瓦岗寨进行反隋起义的农民军队。当时，翟让在瓦岗寨率众起义，河南、山东的百姓都纷纷来投，再加上起义军中还有李密、王伯当、单雄信等颇有才能之人，经历了大业十二年（616）的荥阳之战和隋军的多次围剿，李密的才华在起义军的众多将领中逐渐展现了出来。出于对李密领导才能的欣赏和对瓦岗军的未来考虑，翟让主动将瓦岗寨的全部领导权都转交给了李密。

大业十三年（617）二月，隋末农民政权——“魏”在瓦岗寨建立了。随后，在李密的领导下，瓦岗军控制了河南的很多郡县，一时声名大振。面对良好的局面，李密决定第二年率军进攻洛阳。大业十四年（618）的正月，如期而至的瓦岗军在洛水之南大败了隋朝将领王世充的部队，并将洛阳团团围住。但在即将要推翻隋朝统治的关键时刻，瓦岗寨发生了内乱，最后被唐高祖李渊所灭。

与此同时，窦建德在河北高鸡泊率众起义，从者万余人。大业十二年（616），窦建德军大败隋朝涿郡守将郭洵的部队，第二年，窦建德在河北乐寿称王，建立了属于自己的农民政权。隋炀帝听闻此事，立即派大将薛世雄率大军围剿。窦建德将其一举歼灭。

大业十四年（618）的五月，已经取得初步胜利的窦建德又自称夏王。窦建德称王之后，河北各地的起义军闻讯纷纷来投，起义军的规模越来越大，实力越来越强。随后，窦建德在聊城大败宇文化及的军队，并将宇文化及等人斩杀。到了唐高祖武德二年（619），窦建德已经拥有了黄河以北的大部分地区，甚至可以与南边的王世充和关中的李渊相抗衡。(www.daowen.com)

窦建德军在唐高祖武德四年（621）被秦王李世民的军队所灭，领袖窦建德也在长安被杀。

最后一支起义军是由江淮齐郡的杜伏威和辅公祏领导的。他们在山东齐郡起兵反隋，之后又率部南下来到了广阔的江淮地区发展自己的势力。

经历了重重阻碍，杜伏威的起义军一举攻占了历阳城（今安徽和县）和高邮等地，并开始威胁到了江都。大业十二年（616）七月，杜伏威率军来到了江都，隋朝立刻派大将陈棱率兵迎击。面对这种局面，杜伏威率精兵大败隋军。

同前两支起义军一样，杜伏威也建立了自己的农民政权，杜伏威任总管之职，辅公祏则任长史。隋炀帝在江都被宇文化及所杀后，杜伏威部也出现了内部分化，最后，在武德五年（622）杜伏威投降了唐高祖李渊。辅公祏则继续坚持战斗，后被唐军所灭。

除了农民起义军，隋末的战乱还滋生了不少从隋朝政权中分裂出来的力量，其中比较有影响力的是李渊的太原军、王世充的洛阳军和宇文化及的江都军。这三支力量都对隋朝的灭亡和唐朝的建立产生了直接的影响。