吕蒙字子明，出生于汝南郡富陂县。少年时南渡长江，依附姐夫邓当。邓当是孙策的部将，之前多次讨伐山越族。吕蒙十五六岁时跟随邓当去攻击敌军。当时邓当部下的一个官吏认为吕蒙年纪小而轻视他，说：“那小子有什么能耐，只是去送死而已”。后来又轻视他，吕蒙非常愤怒，拔出刀就杀了那个官吏，之后逃走了。
吕蒙后来通过校尉袁雄去投案，袁雄趁机替他说情，孙策召见了他，觉得他非同寻常，就接纳他并安置在自己身边。几年后，邓当去世，张昭举荐吕蒙代替邓当，任命为别部司马。孙权主事时，考虑到一些小将兵员少而费用不足，要合并他们。
吕蒙暗中借了一笔钱，为士兵们做了大红色的衣服和护具，等到检阅的那天，吕蒙的部队队列整齐威武，孙权见了非常高兴，于是就给吕蒙增补了兵员。吕蒙跟随孙权征讨黄祖，黄祖命令都督陈就率领水军迎战。
吕蒙率领前锋亲自将陈就斩首，将士们乘胜进攻黄祖的城池。黄祖听说陈就被杀了，就弃城逃跑，兵士们追击并捉到了他。孙权说：“这次战事的成功，是由于先斩获了陈就。”于是晋升吕蒙为横野中郎将，赏赐一千万。