平日里享惯了洪福的官宦老爷们不断地遭受灭顶之灾。对于清廷来说，在广大的南方地区，唯一的救命稻草，就是曾国藩手中的这一支部队了。大大小小的官员们纷纷请求曾国藩早日出战，救他们于水火之中。来自各方的信件像雪片似的飞来，曾国藩坚决地不予理睬，他一直按兵不动，全力在衡阳练兵。后来，连京城的咸丰皇帝也坐不住了，下旨令湘军参战，并且在上谕中批评曾国藩平时自以为了不起，关键时候，得做出点样子来。曾国藩仍旧不予理会。这当中，曾国藩甚至冷酷地拒绝了朝廷让他火速调兵赴皖解救江忠源的任务。江忠源是曾国藩的莫逆之交，也算是他的弟子。创办湘军初期，江忠源即跟随曾国藩左右。不久，江忠源被朝廷调到危险的战争前沿，任安徽巡抚。由于孤军深入，江忠源被太平军团团包围在庐州。1853年底，朝廷命刚刚组建的湘军火速北上解围。曾国藩拒绝了。在曾国藩看来，这支刚刚组建的湘军火候完全不到，况且，湘军所购买的火炮、火枪等武器未到，此时轻易冒进，无异于集体送死——1854年1月，孤立无援的庐州城破，江忠源跳水自杀，年仅四十二岁。
理解曾国藩此举的只有他的恩师吴文熔，吴文熔曾是曾国藩的座师，时任湖广总督，湖北战斗激烈之时，吴文熔督师黄州，太平军攻城非常猛烈，很多人劝吴文熔赶快向曾国藩求救。深知曾国藩性格的吴文熔只好给曾国藩写了一封信，在信中，吴文熔更担心的是弟子的迫于形势、仓促行事：
吾意坚守，待君东下，自是正办。今为人所逼，以一死报国，无复他望。君所练水陆各军，必俟稍有把握，然后可以出而应敌。不可以因吾故，率尔东下。东南一局，恃君一人，务以持重为意。恐此后无有继者，吾与君所处固不同也。
曾国藩接到来信之后，深为感动，也深为忧郁，但他坚持不发兵，全身心地投入到部队尤其是湘军水师的训练之中。很快，消息传来，黄州失守，吴文熔战死。
在那段时间里，一方面，曾国藩全力将一支以农民为主的部队训练成一支铁血之师；另一方面，他奏请截取了存放在长沙的、由广东解往江南大营的四万两饷银，以犒劳自己的军队。鉴于太平军在长江有一支庞大的水师，并控制着武汉到金陵的长江水域，曾国藩听取了郭嵩焘的意见，在建陆营的同时，全力建立一支水师军队。在衡阳，曾国藩设立船厂，日夜兴工赶造战船，并派人赴广东向洋人购买枪炮；不久，又在湘潭设立分厂，加快造船速度。到了1854年2月，衡阳船厂建成，曾国藩很快制造出快蟹四十只、长龙五十只、大舢板一百五十只、拖船五只、铁甲指挥船一只；然后，又购买了民船数百艘，将它们改为兵船或辎重船，配备西洋大炮和新式火炮。曾国藩的座船“苍龙号”更是建造得非常坚固，里外都用铁甲包裹，船头配八千斤西洋重炮三门，船尾置六千斤西洋快炮三门；两舷各有快炮五门，还配备火箭炮一门，新式步枪两百支。可以说，湘军的水师装备，在当时已算相当先进了。就这样，曾国藩的湘军水师终于组建完毕，总兵力为五千人，分为十个营。