李密的曾祖父为西魏八柱国之一、司徒李弼，赐姓徒何氏，北周时为太师、魏国公。

祖父李曜，为北周的太保、邢国公。父亲李宽为隋朝的上柱国，封蒲山郡公。

李密擅长谋划，文武双全，志向远大，常常以救世济民为己任。

开皇年间，父亲李宽死后，李密承袭父爵为蒲山郡公，为人仗义疏财，经常接济朋友，收拢门客，礼待贤才，为此几乎散尽家财。

大业初年，凭借父荫任左亲卫府大都督、东宫千牛备身，充任杨广的宿卫。因为李密长得额锐角方，瞳子黑白明澈。一次杨广偶然见到李密，一番询问之下，得知其是李宽之子，于是对宇文述说道：

“这个小孩顾盼之间神态很不寻常，似有别样心思，别让他在宫里担任宿卫。”

杨广万万想不到就是因为的他的一番评语，造就了日后的隋末枭雄李密。

在宇文述的劝说下，李密称病辞去了千牛备身一职，师从大儒包恺潜心读书，时常骑着一头黄牛，牛背上盖着一块蒲草坐垫，还把一套《汉书》挂在牛角上，一只手捏着牛绳，一只手翻书阅读。

一日，越国公杨素经过李密隐居读书之地，一番交谈之后发现李密才学过人，见识非凡，便让其子杨玄感与李密结成密友。

大业九年（613年），杨广第二次征讨高句丽，派杨玄感在黎阳监理军需运输。杨玄感趁着杨广攻打高句丽之际，伙同李密、元务本、赵怀义、王仲伯等人起兵造反。

杨广回师击败杨玄感叛军之后，李密被擒，在押送途中暗中贿赂押送官员，侥幸逃脱。径直去投奔平原县的叛军头目郝孝德，郝孝德对他不大尊重，李密便再次逃走。

到了到淮阳郡，隐姓埋名，自称刘智远，招收徒弟讲学。后因人举报，遭到追捕，万般走投无路之下，李密投入瓦岗翟让手下。

大业十三年（617年）春天，李密和翟让带领七千名精兵从阳城向北出发，跨过方山，从罗口袭击兴洛仓，受到当时驻守兴洛仓杨义臣部顽强抵抗。

李密见兴洛仓一时之间难以攻克，便建议翟让转攻洛阳周边县城，开仓放粮吸纳流民。翟让依计行事短短数月聚集流民青壮数十万，于是二人率军三十万再次围攻兴洛仓。