杨广到了江都半年之后，天下更乱得不可收拾了。这一年是出奇的大旱之年，整整半年时间，黄河两岸，大江南北，雨量少得可怜，不到正常年景的十分之一，连人畜饮水都难以保证，更别提田地里的庄稼了，也没有地方取水去浇，所以整个中国，赤地千里，到处是旱死的庄稼和逃难的人群，历史上前所未有的大荒年的征兆已经非常明显了。

流民遍地，没什么吃的，就抢官府，吃大户，官军剿都剿不完，各地的匪盗多如牛毛，整个国家呈现出一片分崩离析的迹象。

各地的农民起义军和地方军阀纷纷坐大，其中势力最大的有河北的窦建德、洛阳的王世充、陇西的薛举、江南的萧铣、江东的虬髯客和杜伏威、河南中部的李密，其中以李密的势力最为强大。

原来李密逃跑后，一路隐姓埋名，改换了姓名，叫刘智远。他先是依附了一股土匪，匪首叫郝孝德，手下有上万人马。但郝孝德不知道李密的来历，看他是个白面书生，就以为是个知识分子，颇轻视他。李密又不便说出自己的身份，就感到在这个匪帮呆下去没有什么前途，就又想方设法逃走，投奔了另外一支农民起义军的首领王薄。

王薄也不待见他，李密呆了一段时间，感到没有前途，于是就又一次逃跑，一路上穷困潦倒，沦落到剥树皮，吃草根的程度。

他一路游荡到了平原郡的淮阳（今河南淮阳）县，终于在一户农民家里找到一个教书的职业，算是勉强吃饱了饭。由于非常郁闷，于是他就做了一首诗《淮阳感怀》

金风荡初节，玉露凋晚林。

此夕穷涂士，郁陶伤寸心。

野平葭苇合，村荒藜藿深。

眺听良多感，徙倚独沾襟。

沾襟何所为，怅然怀古意。

秦俗犹未平，汉道将何冀。

樊哙市井徒，萧何刀笔吏。

一朝时运会，千古传名谥。

寄言世上雄，虚生真可愧。

这首诗一出来，大家看到了，就非常怀疑他这个人的来历，于是郡县就派人来抓捕他。侥幸的是李密又一次逃脱。

没办法，他就逃亡到他妹夫雍丘（今河南杞县）令丘君明家里。

他妹夫一看，这是朝廷通缉的要犯，怎么可以留在自己家里呢，那是要全家灭门的大罪啊！但又知道李密是个人才，不舍得交到官府去，于是就把大舅哥李密托付给了自己的一位好友王秀才。

王秀才在当地是一位游侠，喜欢结交英雄豪杰，他一看李密，这正是自己最崇拜的类型，于是不仅收留了李密，还把自己的女儿嫁给李密做了老婆。李密逃亡途中，还顺便做了新郎官。

李密的妹夫丘君明有一个侄子叫丘怀义，他知道了李密这件事，想自己升官发财，于是就到江都直接向隋炀帝告发了。

隋炀帝一听大喜，于是立即命令丘怀义自己带着诏书去找梁郡通守杨汪相，让他派人抓捕李密。

杨汪相派兵包围了王秀才的住宅，但恰好李密外出，又一次脱逃，而他妹夫丘君明和王秀才都因为窝藏朝廷要犯而被处死了。

走投无路的李密只好逃亡到了东郡（今河南濮阳），上了瓦岗山，投奔了翟让。

这时候翟让的人马也就是万把人的样子，里面有当年跟着杨玄感一起造反的，失败后就上山落草当了土匪，他们认得李密，就向翟让告发了这个自称是刘智远的真实身份。

翟让一听大惊，认为李密这样的枭雄竟然在自己的身边，早晚是个祸患，不如杀掉算了，免得哪一天他势力大了，把自己结果了，就吩咐人把李密囚禁起来，找个时间就结果了算了。

这时候翟让身边有两个最得力的部下，一个是王伯当，一个叫李勣（此时叫徐世勣，后来投降李渊，赐姓李，避讳李世民，于是改名为李勣，乃大唐名将之一，和李靖并称。）都是能征惯战的猛将，他们都熟读史书，知道像李密这样的人，是不可多得的英雄。当初杨玄感叛乱，如果真听从了他的第一条计策，断了杨广大军的后路，说不定隋朝早就灭亡了，那天下可能就在这个李密手里，像这样的人，智慧超群，留着还是有些用处的。他们就在翟让面前求情，让翟让善待李密。

翟让本来就是个没有主意的人，他原来就是个小吏，因为偶然一次犯了法，不得已才上山当了匪盗，向来也没有什么大志向，就听从了王伯当和李勣的话，放了李密，并给了他一个游击将军的官衔，让他招抚四周的匪盗上山入伙。

那李密果然了得，能言擅辩，在江湖上又有很大的知名度，众匪盗都爱听他讲话，又看他把天下形势分析得头头是道，都心悦诚服，跟着他上山入伙的有十几拨，瓦岗山上很快就聚集了十几万人马，势力大增，成了远近闻名的大队伍。

这样李密就更得翟让信任了，翟让看李密的功劳大，就让他做了瓦岗山的第二把交椅。山上的人多了，粮草不够，李密就带领几万人马袭击了大隋朝最大的粮仓——兴洛仓，得到的粮食等战略物资堆如山积，他又开仓放粮，赈济远近的灾民，群众望风归附，李密的名声也越来越大，手下的人马也越来越多。

杨广一看李密的势力已经大到不能容忍了，连运河里运送物资的官船也敢劫掠了，就下令荥阳太守张须陀带领十万人马，进剿李密。

翟让曾经被张须陀多次击败，这一次看对方又带了这么多人马，装备整齐，而自己的都是些未经训练的农民，恐怕不是对手，就想放弃瓦岗山，一路逃跑。

李密对翟让说：“张须陀这个人勇而无谋，这一次又手握重兵，更是骄傲得不可一世，我敢保证，可以一战就生擒他，你听我的，看我怎么对付他。”翟让将信将疑，只好听从李密的安排。

却说李密安排翟让带领大队人马，列队迎敌，自己早和李勣带领几千精兵埋伏在树林里，单等翟让败退过去，张须陀的人马通过之后，再搞突然袭击，前后夹攻。

翟让果然一战即溃，往预先选定的地点撤退而去，张须陀不知是计，就号令手下，快马加鞭，追赶翟让。旁边有参谋提醒他，要他防备中了埋伏。张须陀说：“这翟让是我手下败将，已经吓破了胆，这一次定不能放过他，大家不要犹豫，快追吧！”说着打马而去。

李密看他大队人马都过了去，才发出信号，突然进行攻击。张须陀大军被前后夹击，立即军心大乱，将士们逃的逃，投降的投降，可怜张须陀，还没来得及反应，就被李勣一刀斩于马下，十万大军顿时灰飞烟灭。

得胜之后，李密的威信更大了，李勣和众人就劝翟让，推李密为瓦岗山之主，因为李密功劳大，名气大，又是将门之后，翟让想想自己确实没有李密有本事，见众人都对李密心悦诚服，就从了大家，于是李密称魏公，封翟让为司徒、东郡公，其余众人各有封赏。

这时候的李密，统治着黄河两岸直到淮河的大片区域，手下有十几万人马，有李勣、王伯当、单雄信、秦叔宝、程咬金等一帮大将，有魏征做谋士，成了当时风头最健的诸侯。