李世民本来以为这一次还是自己的差事，一看哥哥李建成主动请缨，就知道魏征等人给他出的主意，于是乐得静观其变。

于是，李渊下诏，以太子李建成代替李元吉，统一指挥唐朝大军，剿灭刘黑闼。

十二月十一日，刘黑闼军攻陷恒州，杀刺史王公政。十八日，刘黑闼军攻打魏州(今河北大名县北)不下，与建成、元吉大军相峙于昌乐。

李建成带领唐朝大军督兵进讨，果然取得了节节胜利。二十五日，刘黑闼又在馆陶被唐军打得大败。

刘黑闼带领队伍向北逃到了毛州(治馆陶，今属河北)。刘黑闼整顿部队，背靠永济渠列阵，建成、元吉联合组成一千多人的骑兵部队聚集在永济渠，经过一番猛烈冲刺搏杀，刘黑闼军被砍落水死的就有数千人，刘黑闼再次败逃，李建成命大将刘弘基追击。

刘黑闼被刘弘基紧追不舍，得不到休息，路途遥远士卒疲劳。武德六年(623年)正月初五，刘黑闼逃到饶阳(今河北饶阳)时，跟着他的才一百多骑兵，大家都饥肠辘辘，想进城弄点东西吃。

刘黑闼委任的饶州刺史诸葛德威听说刘黑闼来到，连忙出城以隆重的仪式迎接，请他们进城吃饭、住宿。刘黑闼一开始还有些犹豫，担心这里面有陷阱。

但诸葛德威做出一副恭敬真诚的样子，哭着坚持邀请，刘黑闼最后才表示同意。

刘黑闼进城后，诸葛德威把他们安排到刺史衙门，然后安排人立即送来大量食物，招待刘黑闼和他的部署。

由于大家都过度饥饿，只顾埋头大吃大喝，没有提防诸葛德威早已经埋伏的有伏兵，一声令下，伏兵四起，刘黑闼的部下来不及反应，就被砍死、砍伤多人，刘黑闼躲闪不及，也被砍伤，最后被生擒。

诸葛德威于是执黑闼投降唐军，李建成大喜过望，连忙上表向李渊汇报消息。

这个时候，唐将程名振要求亲手杀死刘黑闼，用他的首级祭奠自己的母亲和妻子，得到了允许。于是，程名振亲手送刘黑闼上路，挥刀砍去刘黑闼的脑袋，首级传送长安。

一代枭雄刘黑闼就此灰飞烟灭。

李渊授程名振为营州（今辽宁朝阳）都督府长史，封东平郡公，赏赐绢帛两千段、黄金三百两。后改任洺州刺史。

至此，山东平定。

再来说一说另一个枭雄杜伏威。

武德五年(622年)夏，李世民率部平定窦建德余部刘黑闼和徐元朗，徐的地盘与杜伏威接壤，李世民借攻击徐圆朗之机，陈兵杜伏威境上耀武扬威。

当此之时，隋末蜂起的各路反王大多已经灰飞烟灭，梁师都、高开道、徐圆朗之辈或僻处边疆，或灭亡在即，唯一还能对李唐构成威胁的就是杜伏威了。

杜自然明白李世民的用意，心中十分不安，担心成为李唐下一个进攻的目标。为免嫌疑，杜索性上书李渊，请求入朝。

李渊收到报告后自然高兴，批准杜伏威入朝，于是杜将江淮军交给义子王雄诞，自己带了少数亲信于当年七月到长安朝见李渊。

杜伏威的表现让李渊很是满意，同时也是为了在天下人面前做个样子，李渊加封杜为太子太保，位在齐王元吉之上，杜伏威于是成为仅次于李渊、李建成、李世民三人的大唐第四号人物。

这时在长安受到软禁的还有一个人，那就是当年的吴国皇帝李子通。

李子通看到杜伏威被软禁于长安，李子通料想江淮军没了首领，江淮的局势一定不稳，自己可趁此良机回去混水摸鱼，集合旧部东山再起。

李子通此人待下宽厚，能得士卒之心，如果让他逃回去，也许真能东山再起。可惜的是他逃到蓝田关时不幸被守关士兵发现，束手就擒，然后又被押回长安。

李渊没再手下留情，给了李子通与李密相同的下场。

果然如李子通所料，杜伏威离开后，江淮军出了大乱子。

当年创立江淮军时，最高领袖是杜伏威和辅公祏两个人，二人自幼为友，长大后又共同起义打天下，号称刎颈之交，辅比杜年长，杜就称辅为兄，军中称辅公佑为“辅伯”，辅的地位与杜相当。

权力这东西，即使是父子，有时候也不能分享，何况还是异性兄弟。

随着各个方面的矛盾交织，两个人的隔阂越来越深，于是杜伏威开始猜忌辅公祏，着手限制辅公祏的权力。

杜伏威采取明升暗降的手段，冠冕堂皇地任命辅公祏为仆射，位置在众人之上，但是剥夺了他手中的兵权，借机任命阚棱为左将军，王雄诞为右将军，这两个人都是他的养子。这样江淮军的兵权就掌握在这两个养子手中。