咸丰十年（1860年），太平军二破江南大营后，清政府在整个长江下游地区已失去最后一支经制军主力。在太平军猛烈攻势下，江南豪绅地主，纷纷逃避到已经形同孤岛的上海。为了免遭灭顶之灾，在沪士绅买办一面筹备“中外会防局”，依赖西方雇佣军保护上海；另一方面又派出钱鼎铭等为代表，前往安庆请曾国藩派援兵。钱鼎铭先动之以情，每日泣涕哀求，言江南士绅盼曾国藩如久旱之望云霓；继而晓之以利，说上海每月可筹饷六十万两，这对时感缺饷的湘军，不啻是一大诱惑；同时，钱鼎铭还利用其父亲钱宝琛是曾国藩和李文安同年的关系，走李鸿章的门路要说动曾国藩。曾国藩最初属意派曾国荃领兵东援，但曾国荃一心要攻下天京，建立首功，而不愿往。随后，曾国藩又函请湘军宿将陈士杰出山，但陈亦以“母老”力辞，曾国藩最后转商于李鸿章，李欣然应命，于是开始了淮军的招募与组建。
两淮地区，民风强悍，尤其是“兵、匪、发、捻”交乘的皖中腹地，民间纷纷结寨自保图存。庐州地区的团练武装，以合肥西乡三山（周公山、紫蓬山、大潜山）的张（树声、树珊）、周（盛波、盛传）、刘（铭传）三股势力最大，百里之内，互为声援。咸丰十一年（1861年）夏，西乡团练头目得知曾国藩就任两江总督，安徽人李鸿章在幕中主持机要时，就公推曾任李文安幕僚的张树声向李鸿章、曾国藩上了一道禀帖，洞陈安徽形势，并表示了愿意投效的决心。曾阅后大为赏识，亲笔批示“独立江北，真祖生也”。由于庐州团练的这些基础和李鸿章在当地的各种关系，淮军的组建、招募比较顺利。
李鸿章首先通过张树声招募了合肥西乡三山诸部团练。接着，又通过前
来安庆拜访的庐江进士刘秉璋与驻扎三河的庐江团练头目潘鼎新、吴长庆建立联系。潘、刘自幼同学，又同为李鸿章父亲李文安的门生，吴长庆的亡父吴廷香也与李文安有旧交，自然一呼而应。同治元年（1862年）春节过后，淮军最早的部队树（张树声）、铭（刘铭传）、鼎（潘鼎新）、庆（吴长庆）四营(淮军四字营或四大营）即陆续开赴安庆集训。与此同时，李鸿章还命令三弟李鹤章回合肥故乡招募旧部团练，响应投军的有内亲李胜、张绍棠，昔年好友 德模、王学懋，以及父亲李文安的旧部吴毓兰、吴毓芬等（这些东乡团练与西乡周盛波、周盛传兄弟的“盛”字营，均属第二批成军的淮勇，后由陆路陆续开赴上海）。
首批四营淮军抵达安庆后，曾国藩极为重视，亲自召见各营将领加以考察，并亲为订立营制营规。曾国藩担心新建的淮军兵力太单薄，还从湘军各部调兵借将，其中整营拨归淮军的有：1、属于湘军系统的“春”字营（张遇春）和“济”字营（李济元）；2、太平军降将程学启“开”字两营；3、湖南新勇“林”字两营（滕嗣林、滕嗣武）以及后到的“熊”字营（陈飞熊）和“垣”字营（马先槐）；4、曾国藩送给李鸿章作为“赠嫁之资”的亲兵两营（韩正国、周良才）。其中，以桐城人程学启部“开”字两营作战最为凶悍，士卒多系安徽人（丁汝昌当时即在该部）。这样，李鸿章初建的淮军，就有了14个营头的建制（每营正勇505人，长夫180人，共685人）。同治元年（1862年）二月，曾国藩在李鸿章陪同下，检阅已到达安庆集结的淮军各营，淮军正式宣告建军。随后，上海士绅花银18万两，雇英国商船7艘，将淮军分批由水陆运往上海。由于“济”字营留防池州，因此乘船入沪的淮军共计13营约9000人。