他营官互相议论，都支持彭玉麟和杨载福，整个大堂喧嚣如滚雷一样。曾国藩不是不知道这些陆军营官的本事，尤其是彭玉麟，读书人出身，却拥有超绝的军事天赋，是个陆地之虎。把这样的人才从陆地弄到水上，实在有浪费之嫌。
但没有办法，曾国藩言辞恳切地向他们诉苦，“战舰都有了，士兵也有了，如果你们不做，那就没人来做了，咱们辛苦创建起来的水军就得解散。你们不为我曾国藩想，不为大清帝国想，就为那些出了无数力气的工匠们想想，还为那些从广东运来大炮的苦劳力想想。将心比心，浪费别人的劳动果实是可耻的，你们难道眼睁睁看着那些战舰就那样一动不动地烂在水里吗？”
见营官们不出声了，曾国藩趁热打铁：“我的兄弟们，看看外面那些战舰，咱们没向朝廷要一个铜板，全靠咱们的厚脸皮到处化缘，才建立起来的。你们忍心看着咱们化缘的成果灰飞烟灭吗？”
这番话，说得众营官们很惭愧。虽不情愿，但还是答应了曾国藩，尽力当好这个水军军官，让曾国藩高枕无忧。
曾国藩不可能高枕无忧，原因就在于世界上有个叫“咸丰”的催命鬼。
咸丰三催曾国藩
曾国藩到衡州建湘军，咸丰皇帝不太清楚。但江忠源了如指掌，江忠源后来把曾国藩的宏图大展报告给了中央政府。咸丰并无不满，因为当时正是用兵之计。1853年11月，太平天国西征大军向武汉推进，咸丰下令要曾国藩率海陆军增援湖北。
曾国藩懊恼江忠源的大嘴巴，当时水军刚刚成立，连打鱼都困难，何况是打仗。曾国藩对江忠源抱怨说：“我原意是等把水陆两军练好后再上报朝廷，你的嘴怎么就没把门的，提前透露出去了？”
江忠源回信说：“我说你啊，读理学读傻了吧。朱熹说先知后行，但知行应该合一，去战场练兵要远比你在操场上练兵进步得快。况且……”江忠源嘲讽道，“皇上只是让你去配合正规军作战，没让你担当主力，你慌张个什么劲？”
曾国藩最讨厌的就是这句话，不当主力我去干什么，正规军根本就打不了仗，我去配合他们送死吗？
他当然可以不搭理江忠源，但对咸丰却马虎不得。琢磨了一天，想到了如何搪塞咸丰。他对咸丰说：“衡州周边匪徒有春风吹又生之势，我若离开，他们和太平军连成一气，后果不堪设想啊，所以我不能走。”
不多久，曾国藩又收到咸丰的圣旨。咸丰说：“长毛贼在进攻安徽庐州，你即刻带上你的人入安徽，支援庐州。”曾国藩拿上次的回信复制一回，发了出去。1854年2月，咸丰的圣旨又来了：“长毛贼进攻黄州，曾国藩你他娘的赶紧带人去增援。”
曾国藩三次不出兵，不是懦弱，更不是保存实力。他很明白一个道理，太平军骁勇善战，名将众多，没有一支劲旅绝不能去碰他们。而且和太平军一决雌雄的战场是在水上，他的水师还羽毛未丰，绝不能高飞。
他给咸丰回信说：“衡州乃湖南省之重地，我若离开贼必来，容我剿灭衡州附近土匪后，再出山。”
曾国藩摇摇摆摆的“千呼万唤不出来”，咸丰终于发了雷霆之怒。他给曾国藩回信，语气充满了讥讽：“你真是吹牛不打草稿，好像衡州离了你就会从世上消失一样。我也和你打过交道，我只是想问一句，你的才能行吗？平常牛气冲天，以为天下人都不如你。如果你的话能抵上你一半才能，我还真放心，倘若遇事后一败涂地，岂不是贻笑天下。好吧，我暂时相信你的话和你的才能是相匹配的，你出山给我看啊！”
收到咸丰的信，曾国藩心里翻江倒海。皇上竟然说他吹牛，而且还说得这么露骨，真让他无地自容。他反复思量，上下考量，用尽全部感情给咸丰写了封回信。在陈述了船炮未备、兵勇不齐的情况之后，他突然慷慨激昂起来：“我知道自己才疏学浅，只能用一颗忠诚不避死的心报答您，至于成败利钝，全不在放在心上。如果皇上真要我出军，那我就出军。但我敢肯定，必是死路一条。到那时您会对我超级失望，我仍是死路一条，与其那样死路一条，不如现在您就治我个畏惧不前的罪名，这样我虽死，却能保住千万人性命，死而无憾。”
写到这里，曾国藩想起自担任团练大臣后在长沙受的屈辱，又想到来衡州后的白手起家，不但步履维艰，还得到无数的讥讽嘲骂，他不禁眼眶湿润，继续写道：“湖南官员不理解我，给我难堪，皇上您也不理解我，非让我出兵自取其辱，一旦我兵败，必会被人唾骂至死。身死却不能报效国家，一想到这里，我在大半夜都能哭醒。希望皇上能理解我的进退两难境地，不要逼我出军，要不了多久，我羽毛一丰，定会建下破天荒之大功，以报圣恩。”
咸丰被这封信感动了，不再催他出军，同时还安慰他：“成败利钝固不可逆睹，但你心可昭日月，并非只有我知。”
曾国藩收到咸丰的信后，当着湘军将领们的面，嚎啕大哭，拿着信给众人观看，哽咽着说：“皇上真是怜悯我等啊，皇上万岁！”
皇上在遥远的北京怜悯他，解决不了他眼前的麻烦。麻烦来自王錱，王錱向他发出了挑战。王錱是湘军的元老级人物，开始和曾国藩合作时很融洽，王錱才能出众，雄心勃勃。曾国藩当初在长沙时见人就夸王錱志大才高，前途无量。
王錱虽然雄心勃勃，但胸有主张，他是理学家罗泽南的弟子，深深懂得规矩的道理。他本来和曾国藩的关系不错，可自到衡州后，关系渐渐恶化。曾国藩来衡州是打着为江忠源练兵的旗号，但很快王錱就发现，曾国藩是在为自己练兵，他要建一支曾家军。