位于南岳衡山南麓的衡州城，是湖南仅次于长沙的名城。
湖南自古有三湘之称。何谓三湘，其说不一。有一种说法是：潇湘、蒸湘、沅湘合为三湘。衡州城正是蒸水与湘水的汇合处，为两广之门户，扼水陆之要冲，物产富庶，民风强悍，历来是兵家必争之地。曾国藩对衡州特别亲切，这是因为他一来祖籍衡州，二来欧阳夫人是衡州人，三则他少年时代曾在衡州求学多年。来到衡州，曾国藩如同回到湘乡，有一种鱼游大海、虎归深山之感。
衡州城小西门外蒸水滨，有一片宽阔的荒地，当地百姓称之为演武坪。这是当年吴三桂在衡州称帝时，为演兵而开辟的，后来便成为历代驻军的操练场，比长沙南门外练兵场要大得多。曾国藩把他带来的一千多号团丁，便安扎在演武坪旁边的桑园街，指挥所设在桑园街上一栋赵姓祠堂里。为便于日常商讨，他要罗泽南、王錱、李续宾、李续宜、康福、江忠济及满弟国葆等都住在祠堂里。
这天上午，曾国藩吩咐王錱布置指挥所后，便带着罗泽南等人去拜访衡州知府陆传应。在知府衙门里吃完午饭回来，曾国藩老远就听见赵家祠堂前鞭炮轰响。罗泽南笑着对曾国藩说：“璞山办事能干，就是有点好大喜功的毛病。其实也不必搞这大的排场，像金号开张一样。”
罗泽南出身酷贫，又笃信理学，持身处事一向节俭，在这点上与曾国藩甚是相投。曾国藩点点头说：“关键是要把勇练好，这种虚排场不要摆。”
王祐见曾国藩回来，满面春风地迎上前去，说：“曾大人，木牌子一时做不出来，我们这样大的一个衙门，岂能没有招牌？我一边叫木匠赶快做，一边先用纸写了糊起来。为图个吉利热闹，买了几万响鞭炮庆贺庆贺。”
曾国藩看祠堂正门右边，已从顶到底糊上一长条红纸，上面用颜体端端正正地写了一行大字，字字饱满稳当，出自王錱的手笔：“钦命团练大臣曾统辖湖南湘军总营务局”。为招牌一事，王錱思考了一上午，最后定下这十七个字。他认为堂堂皇皇，很有气派，心中甚是得意，正期待着曾国藩的夸奖，只见曾国藩两道扫帚眉慢慢锁紧，说了句“璞山跟我进来”，便径直向祠堂里面走去。王錱心头一凉，跟着进了屋。
待王錱进门后，曾国藩板着面孔说：“璞山，这么大的一件事，你如何不问我便自作主张，你知道犯了大错吗？”
王錱不到三十岁，心高才大，常谓一息尚存，即当以天下万世为念，虽连个秀才都未捞到，却俨然以主宰浮沉的人物自居。他这种气魄很得罗泽南的赏识。在罗泽南看来，王錱是他众多才气横溢的弟子中的第一人，好比孔门七十二贤中的颜回。王錱不认为自己写的招牌有什么错，不服气地说：“卑职不知有何过错。”
对王錱的文武之才，曾国藩也很欣赏。他意识到刚才过于严厉了，便放松面皮，略为和缓地说：“你先坐下吧！”
王錱在曾国藩对面坐下来。曾国藩耐着性子细细地说：“璞山，你这个招牌气派是够气派了，但有两个大的差错。钦命说的是帮办团练，‘帮办’二字，定下了主从关系。巡抚骆大人是主，我是协助。你如何能偷梁换柱，擅自去掉‘帮办’二字呢？此其一。第二，我们办的是团练，不是军队，怎能自称湘军？这不是在公告大众，要在绿营之外另建军队吗？
罗山和你们在湘乡练的勇，人家也只称湘勇。今后，我们这批团丁可自称湘勇，一来湖南简称湘，二来也可纪念湘乡练勇的开创之功，但决不能自称湘军。璞山，你有没有想过，这一去‘帮办’，改‘勇’为‘军’，将会授人以柄啊！”
王錱是个聪明人，经曾国藩一提醒，立即认识到问题的严重性，赶紧说：“卑职一时考虑不周，我这就叫人撕下。”
王錱刚要出门，曾国藩又叫住他：“璞山，你的颜字越写越好了，木牌要好几天才能制成，还得借你的大笔再写一幅先贴着。”
“写几个什么字？”
“还写原来的老招牌：湖南审案局。”
离开长沙前夕，骆秉章在曲园酒家大摆筵席，为曾国藩及团练全体哨长以上的头目饯行。徐有壬、陶恩培、左宗棠和粮道、盐道等官员都出席作陪，鲍起豹和清德却拒绝参加。
久游宦海的曾国藩十分清楚骆秉章等人的世故，但他不想与骆秉章撕破脸，于是带着众头目欣然出席。骆秉章心里果然高兴，二人并肩坐在一起畅谈，如同一对亲密无间的好朋友。
曾国藩深知借助骆秉章的重要，把招牌一事处理好后，便立即给骆秉章写了一封信，向他报告团丁安置的情况，欢迎他随时来衡州视察。接着，曾国藩又给郭嵩焘、刘蓉各写一信，邀请他们来衡州共举大事；又写了一封信给黔阳教谕、平江举人李元度。李元度字次青，曾和曾国藩在岳麓书院同窗。
曾国藩欣赏李元度的才思敏捷，也请他来衡州帮办文书；又写了一信给正在桂阳州原籍守制的陈士杰。道光二十八年，陈士杰以拔贡上京考小京官，朝考时，阅卷大臣正是曾国藩。曾国藩见他的策论议论风发，言之有物，欣喜地录取了他。从那以后，陈士杰视曾国藩为恩师。
写完这几封信后，曾国藩感觉疲劳。他在床上躺了一下，却不能合眼。一个更大的计划，需要他尽快拿定主意，这就是今后如何训练这批湘勇。他在心里盘算着，自己之所以出山，目的是做李泌、郭子仪的事业，要如此，必须有一支强兵劲旅，这支人马虽不能叫军队，而只能称练勇，但实际上要比八旗、绿营强得多。一千号人，无论如何少了。但若一旦扩勇，便会立即招致非议。目前有十个省办起了团练，其他九省都没有湖南这样的大团，帮办团练大臣所直接掌握的团丁，都不过二三百人。湖南已有一干余人了，还要扩大，朝廷会不会同意？这是一。第二，饷银从何而来？自从洪杨事起，朝廷的经费便日感不支。这是曾国藩所深知的。要朝廷拨钱，希望渺茫；要骆秉章、徐有壬拨款吗？也不能指望。曾国藩躺在床上，被这两大难题困扰着，思前想后，找不到解决的办法。
荆七推门进来，对曾国藩说：“大人，刚才陆知府派人送来一封急信。”
曾国藩坐起，从荆七手中接过信。原来，这信是新擢升为湖北按察使、正带兵在江西前线与太平军西征军作战的江忠源寄来的。江忠源信上说：长毛势力强大，能征惯战，打仗不怕死，又会收买人心，很难对付。请曾国藩在长沙多募几千人马，练成精兵，早日开赴江西，补充他的楚勇。看完这封信后，曾国藩想到了一个好主意。
曾国藩兴冲冲地给江忠源回信，告诉他已来到衡州练勇，请他向皇上奏明，委托湖南帮办团练大臣在衡州招募五千勇丁，训练成军，交他指挥。“只要朝廷明文同意扩勇，饷银的着落再想办法。”曾国藩心想，“至于交不交江忠源去指挥，那还不是凭我一句话？我不给他，谅他也不好意思来硬要。”
不久，郭嵩焘、刘蓉、陈士杰都先后来到衡州，曾国藩很是高兴，他认为自己给这几个地位不高却才能罕见的朋友，找到了一个可以施展平生抱负的舞台。郭嵩焘告诉曾国藩，他在湘阴募集了一批军饷，过几个月便可凑齐二十万。李元度也应邀来了。这个戴着深度近视眼镜、个头瘦小的文人还带来五百平江勇，一来便对曾国藩说，要弃文就武，当营官带兵打仗。曾国藩很欣赏他的这分勇气。趁着大批勇丁尚未到齐的空隙，曾国藩和罗泽南、王錱、郭嵩焘、刘蓉、陈士杰、李元度等人天天商讨练勇之事。大家参照戚继光的束伍成法，结合目前的实际情况，制定详细的军事条例。曾国藩又写信给骆秉章，向抚标中军借调塔齐布、杨载福、周凤山三人。骆秉章同意了。不久，三人也一同来到衡州。曾国藩见文武人才济济，气象兴旺，心中甚为兴奋。一个月后，李续宾、曾国葆、金松龄从湘乡募来二千五百勇丁，邹寿璋、储枚躬、江忠济从靖州、辰州、新宁、宝庆等地募来一千勇丁，连同过去的一千人和李元度的五百平江勇，合共五千余人。曾国藩将这五千余人分为十营，委任塔齐布、罗泽南、王錱等人为营官。为使官勇们能一心一意地操练，曾国藩决定发厚饷。
在朝廷未拨下饷银之前，曾国藩与衡州知府陆传应商议，先把修城墙的十万银子挪过来用。银子兑了现，官勇们操练都有劲。曾国藩制定了严格的营规：每天五更三点放炮，闻炮即起，夜晚每营派十人巡逻；黎明演早操，营官、哨官必须亲自到场；午刻点名一次；日斜时演晚操，二更前点名一次。每逢三、六、九日午前，曾国藩本人亲到演武坪监督操练，并训话。从早到晚，每天演武坪尘土飞扬，杀声不绝，衡州城里的百姓都奇怪，这是哪来的一支人马，操练如此认真、勤勉？年长的记得，这块荒芜的演武坪，已经几十年没有吃粮的人在上面操演了。