嘉慶初年鎮壓白蓮教起義時，清政府曾號召所在地方官舉辦團練，協助綠營兵堵截追殺。最出名的團練武裝主要有兩股，分別由四川土匪羅思舉和遊民桂涵帶領，其凶殘亡命過於官軍，為清政府屠殺革命人民效盡犬馬之勞。後來二人皆官至提督。鑒於這一曆史經驗，清政府在鎮壓太平天國革命和各地會黨活動之初，就非常重視團練的作用。早在道光三十年九月，清政府就指示兩廣總督徐廣縉親赴廣西勸諭士紳舉辦團練，至鹹豐元年四月，廣西地方官向清廷奏稱，廣西已通省舉辦團練，並一再奏報團練武裝捕殺當地會黨群眾的情形，為反動士紳請功。團練武裝不僅在各地攔擊小股起義隊伍，襲殺零散會黨群眾，還直接配合清軍圍剿太平軍。太平軍紫荊山根據地的雙髻山要隘，就是當地團練武裝配合清軍向榮部攻陷的。鹹豐二年太平軍進入湖南，清政府又命令兩湖地方官，尤其湖南官員舉辦團練，並令原湖北巡撫羅繞典馳赴湖南，協助湖廣總督與湖南巡撫勸諭士紳，辦理團練。不過當時還沒有任命團練大臣。到了這年秋天，清政府見各地官員出於種種原因，不能有效地組織當地士紳舉辦團練武裝，太平軍所到之地，整個統治機器頃刻瓦解，遂采取兩條措施，加緊舉辦團練。一是擴大舉辦團練的範圍。自鹹豐三年二月起，清政府發布命令，要求全國各省地方官普遍舉辦團練，不再限於太平軍已經到達的地區。二是任命丁憂或請假在籍的官員為團練大臣，利用其人地兩熟、便於聯絡各地士紳的條件，專門負責團練事務，以彌補地方官之不足。
清政府最早設團練大臣是鹹豐二年八月，任命的第一個團練大臣的是江西團練大臣、前刑部尚書陳孚恩；接著，當年十一月二十九日(185318)任命曾國藩為湖南團練大臣；十二月二十五日任命在籍養病的前廣西巡撫周天爵為發徽團練大臣；不久，又命工部侍郎呂賢基、翰林院編修李鴻章回安徽原籍辦團練。不過這時設置團練大臣還僅限於太平軍勢力所及各省，人數也比較少。自鹹豐三年二月將舉辦團練的政策推行於全國各省之後，團練大臣也一天天多起來，至當年二月底止，短短一個月內，就先後任命四批團練大臣，連陳孚恩、曾國藩、周天爵、呂賢基在內總計達45人，人數最多的山東一省就有團練大臣13人，比它稍次的江蘇省也有團練大臣8人。同時，清政府還命令內閣將鹹豐皇帝曆次下達的有關舉辦團練的諭旨以及嘉慶年間明亮、德楞泰的《築堡禦賊疏》、龔景翰的《堅避清野議》刊刻印發各省，參照執行。由此可以看出清政府的團練政策和為動員各地土豪劣紳舉辦團練所做的努力。
湖南地主階級具有豐富的鎮壓農民反抗的經驗，其舉辦團練的曆史也是由來已久的。早在乾隆末年，辰州府鳳凰廳同知傅鼐就曾用普遍築堡辦團、募勇集練成軍的辦法鎮壓了湘黔邊境的苗民起義。道光以來，反動士紳募勇成軍鎮壓農民和少數民族起義的例子更是屢見不鮮，史不絕書，其中最突出的事例是江忠源。江忠源的家鄉新寧縣化非常落後，“清代向無捷鄉試者，迨丁酉科江忠源以拔貢中式，人謂之破天荒”，以是小有名氣。但因其賭博**，遂為湖南“禮法之士”所不齒，唯與歐陽兆熊、郭蒿燾、曾國藩等人友善。道光二十七年江忠源家鄉新寧縣爆發雷再浩起義，被他募勇鎮壓下去。由此名聲大噪，保為知縣，簡發浙江，很快實授秀水知縣，不久丁憂回籍。鹹豐元年六月賽尚阿充任欽差大臣，疏調江忠源隨營差遣。他聞命即起，迅速趕往廣西前線，留在烏蘭泰幕中參謀軍事，並令其弟江忠源募勇五百名帶往廣西隨營作戰，號稱楚勇，甚得烏蘭泰賞識。這是湖南鄉勇最早出省作戰。鹹豐元年底，江忠源從永安城外回家養病，聞太平軍圍攻桂林，又立刻增募新勇，力疾再出，並邀請劉長佑為助手，兼程趕赴桂林軍營。劉長佑(18181887)字子默，號印渠，湖南新寧人，出身於一個小富紳家庭。自幼讀書，屢試不中，在嶽麓書院先後讀書十二年，直到道光二十九年始考取拔貢生。這年冬，雷再浩舊部李沅發在新寧起義，劉長佑親自組織團練，參加了鎮壓活動。轉年經江忠源引薦，在京求見曾國藩。曾國藩對他“深相愛重”，一見即“歎曰：‘戡亂才也’”。他與江忠源自幼氣味相投，又是姻親，所以一得到邀請便欣然應命，從此開始了鎮壓太平天國革命的反革命生涯。在桂林城外，江忠源、劉長佑率領的楚勇曾屢次與太平軍交戰，江忠源亦因此遷為知府。後因與向榮意見不合，離營回湘，聞太平軍從桂林撤圍北上，欲入湖南，急在湘江上遊的險要地段蓑衣渡設伏襲擊太平軍，致使太平軍兵力損耗一半，輜重給養全部丟棄，傑出領導人馮雲山壯烈犧牲，遭受起義以來從未有過的損失。當時長沙兵力空虛，士無戰心，城牆傾圮，城門殘缺不全，若太平軍沿湘江順流而下，攻取長沙是很容易的。由於江忠源的襲擊，迫使太平軍不得不棄舟登陸，繞道湘南，以致喪失了攻克長沙的最好機會。其後江忠源又間道趲程趕往長沙，參加了各路清軍防守長沙的戰鬥，並因長沙城守及鎮壓會黨起義之功擢為道員。
曾國藩的家鄉湘鄉縣也是湖南舉辦團練最早的縣份之一。早在道光二十九年曾國藩的二弟曾國潢就在家鄉組織“安良會”，對付吃“排飯”的饑民。鹹豐元年劉東屏、劉蓉父子和曾麟書、曾國潢父子在湖廣總督程矞采、湘鄉知縣朱孫詒的支持下組織團練武裝，鎮壓湘鄉縣境內的抗糧鬥爭。他們爭先購置眼線，率勇捕人，連自己的親戚朋友也不放過，很快把這場鬥爭鎮壓了下去。鹹豐二年春太平軍攻桂林不下，廣西巡撫鄒鳴鶴即移谘湖廣總督程矞采，言太平軍有入湘之象，讓湖南方麵早作準備。消息傳出後，湖南各縣官紳紛紛舉辦團練，而湘鄉知縣朱孫詒則尤為積極。他親自召集各鄉巨紳議定團練章程，並在湘鄉縣城和永豐、婁底兩處分設三個團練局，號召各鄉士紳普遍辦團。同時還在湘鄉縣城成立總團，請曾國藩的父親曾麟書以湘鄉首戶巨紳總其成，並敦請著名士紳羅澤南、劉蓉等協辦本縣團練。
羅澤南(18071856)字仲嶽，號羅山，自幼家貧，十九歲起以教書為生。他刻苦攻讀，屢應鄉試不中，直到道光三十年才被湘鄉知縣朱孫詒舉為孝廉方正。羅澤南早年交遊不廣，道光十八年始與劉蓉交好，道光二十四年又與郭嵩燾、郭嵩燾兄弟相識，直到鹹豐元年在善化賀長齡家教書時方與曾國藩通信。羅澤南是個忠於封建禮教的士人，多年來潛心程朱理學，並著有《西銘講義》、《人極衍義》等書，甚為曾國藩所推崇。曾國藩說羅澤南之誌“以為天地萬物本吾一體，量不周於**，澤不被於匹夫，虧辱莫大焉”。他曾長期在善化、湘鄉等地教書，向青年學生灌輸封建倫理觀念，培養出一大批忠於封建秩序的儒生。湘軍骨幹人物玉錱、李續賓、李續宜、蔣益澧、劉騰鴻、楊昌浚、劉典等都是他的學生。王錱(18251857)字璞山，原名開作，字家賓，二十歲入縣學，同年投到羅澤南門下為弟子，初辦團練時王錱最積極，在羅澤南諸弟子中地位亦最高，湘鄉練勇集訓之始，他就獨領一營，所以後來的湘軍將領多為羅、王、江、劉舊部。李續賓(18181858)字迪庵，湖南湘鄉人。李續宜字克讓，號希庵，李續賓胞弟。李續賓年少時膂力過人，不喜讀書，因親老家貧，以販煤養親並供弟讀書。羅澤南欣賞他的“孝友”，將他兄弟二人一並收為弟子。蔣益澧字薌泉，劉騰鴻字峙衡，楊昌浚字石泉，劉典字克庵，皆為湘鄉人，羅澤南辦團練時他們都一齊參加進來，後來皆成為著名的湘軍將領。
太平軍進入湘南地區後，湖廣總督程矞采曾令湘鄉知縣朱孫詒募勇千人赴衡州防堵，從此，湘鄉縣不僅有遍布各鄉的團丁，還有一支由官府出錢、集中於縣城進行編練的練勇。當時湘鄉練勇有一千多人，分為中、左、右三營，分別由羅澤南、王錱、康景暉帶領(後來右營營官改任鄒壽章)。太平軍離開湖南後，羅澤南因辦團練出力被保為候補訓導。
除新寧、湘鄉而外，湖南的其他縣份也辦起了團練，用以對付會黨起義和群眾抗糧鬥爭。其組織辦法與湘鄉相似，通常是各鄉普遍辦團，同時招募部分鄉勇在縣城集中訓練，稱為練勇，費用由各府、縣官庫支給。其餘各鄉團練則由各鄉紳自行籌集，自行經管。在鎮壓各地會黨和防堵、襲擊太平軍的活動中，除以上兩縣外，辰州、寶慶、瀘溪、瀏陽等地的練勇也比較有名，皆已編練成軍。這些練勇就成為後來曾國藩創辦湘軍時最初的組織基礎。
另起爐灶、重建新軍的思想，曾國藩早在鹹豐二年底建議張亮基將所調各縣練勇“改募成軍”時就很明確。他在給寶慶知府魁聯的信中解釋采取這一決策的原因說：“就現在之額兵練之而化為有用，誠為善策。然習氣太盛，安能更鑄其麵目而蕩滌其腸胃?恐嶽王複生，半年可以教成其武藝；孔子複生，三年不能變革其惡習。故鄙見竊謂現在之兵不可練之而為勁卒，新募之勇卻可練之使補額兵。救荒之說，自是敝邑與貴治急務。”
然而未來的新軍究竟是什麽樣子，曾國藩胸中並無成熟方案，因而他在建立所謂“大團”時，僅強調“今欲改弦更張，總宜以練兵為要務”。直到這年夏天，江忠源在給清廷的奏折中表示欲采取兵勇混用的辦法(從各地征調綠營六千人，從湖南招募官勇四千人，組成一支萬人之師)戰勝太平軍時，曾國藩才致信江忠源等人，指出綠營兵製的根本弊病，將其致敗的主要原因歸咎於調遣之法不善，提出改革軍製的主張。他說，“今日兵事最堪痛哭者，莫大於‘敗不相救’四字”，“雖此軍大敗奔北，流血成淵，彼軍袖手而旁觀，哆口而微笑”。他認為，造成這種積弊的主要原因是由於調遣成法不善。曾國藩指出，“當其調兵之時，東抽一百，西撥五十，或此兵而管以彼弁，或楚弁而轄以黔鎮”，“卒與卒不習，將與將不和”，遂造成“勝則相忌，敗不相救”的風氣。既然“危急之際無人救應，誰肯向前獨履危地，出萬死之域以博他人之一微笑?是以相率為巧，近營則避匿不出，臨陣則狂奔不止，以期於終身不見賊麵而後快”。他認為，太平軍所以無往不勝，不僅由於其紀律嚴明，深得民心，還由於它內部團結，誓同生死，“若非練兵萬人，合成一心”，斷難製此強敵之死命。因而，這支軍隊必須“呼吸相顧，痛癢相關，赴火同往，蹈湯同行，勝則舉杯酒以讓功，敗則出死力以相救。賊有誓不相棄之死黨，吾官兵亦有誓不相棄之死黨”。隻有這樣，“庶可血戰一二次，漸新吾民之耳目而奪逆賊之魂魄”。可以說這是曾國藩對所建新軍政治素質的要求，他製定軍製改革的各項措施都是以此為出發點的。
曾國藩對綠營軍製的改革主要表現在兩個方麵：一是以募兵製代替世兵製，二是將“兵為國有”變為“兵為將有”。前麵已經講過，綠營兵實行世兵製度，基本上是父子相承，當兵為業，綠營子弟成年後即可隨營習武，稱為隨軍餘丁，一旦營中出現空額，便可補缺吃糧。所以，綠營一般不從外麵招募，隻有在餘丁不足時才自外募兵補缺。湘軍屬官勇性質，數額不定，全部招募，且隨著形勢的變化和需要的不同隨時增減或裁撤。曾國藩為了不使湘軍染上綠營的種種惡習，首先要求湘軍在組織上與綠營徹底割斷聯係。他認為，綠營的**習氣已“深入膏盲，牢不可破”，隻有“盡募新勇，不雜一卒，不濫收一弁”，“特開生麵，赤地新立”，才能“掃除陳跡”，練成勁旅。他還說：“國藩數年來痛恨軍營習氣，武弁自守備以上無不喪盡天良，故決不用營兵，不用鎮將。”曾國藩規定，湘軍士兵主要招募健壯、樸實的山鄉農民，不僅不收營兵，也不要集鎮碼頭上油頭滑麵之人，更不要曾在衙門當過差的書役、胥吏之類。湘軍的軍官，主要招聘紳士、生充任，對政治、思想和身體條件都有一定要求。曾國藩在給朋友的信中提出四條標準，請人為他物色湘軍軍官。他說：“帶勇之人，第一要才堪治民，第二要不怕死，第三要不急名利，第四要耐受辛苦。治民之才不外公、明、勤三字，不公不明則諸勇必不悅服，不勤則營務細巨皆廢弛不治，故第一要務在此。不怕死則臨陣當先，士卒乃可效命，故次之。為名利而出者，保舉稍遲則怨，稍不如意再怨，與同輩爭薪水，與士兵爭毫厘，故又次之。身體羸弱過勞則病，精神乏短者久用則散，故又次之。”又說：“四者似過於求備，而苟闕其一則乃不可以帶勇。”“大抵有忠義血性，則四者相從以俱至；無忠義血性，則貌似四者終不可恃。”可見條件雖多，關鍵還是政治思想表現。曾國藩選拔軍官始終堅持政治標準第一的原則，隻要被他認為“有忠義血性”者，不論營弁、營兵、書生，都可錄用。後來成為湘軍名將的塔齊布、周鳳山、鮑超、楊載福都是營弁或營兵出身。至於其他條件，則各有高低差等，更可以在戰爭中磨煉和培養了。
為了加強對士兵的控製和湘軍內部的團結，曾國藩又在兩個方麵做出了努力：一是加強各級軍官的權力，下級絕對服從上級，士兵絕對服從軍官；二是募勇的地域原則和私人情誼至上的原則。曾國藩規定，湘軍的招募，統領由大帥挑選，營官由統領挑選，哨官由營官挑選，什長由哨官挑選，士兵由什長挑選。曾國藩認為，“口糧雖出自公款，而勇丁感營官挑選之恩，皆若受其私惠，平日既有恩誼相孚，臨陣自能患難相顧”。曾國藩還認為，一營一軍之中若募有兩地的士兵，必然造成地區之間的不和。因而不如幹脆隻用一地之人，可以利用地域觀念和同鄉感情加強團結。所以湘軍一般隻在湖南募兵，又主要在長沙、寶慶二府招募，尤以湘鄉最多。湘軍不論在何地作戰，凡添新勇，都要回湖南招募。湘軍軍官外省人間或有之，而士兵則外省人極少隻是到了後期，才偶爾募集少量外省士兵，以補充兵源的不足。為防止士兵逃跑，曾國藩還規定，凡應募者必須取具保結，並將其府縣裏居及父母、兄弟、妻、子姓名詳細登記入冊。這樣士兵就不敢逃離營伍；即使有逃跑者，亦可按籍捉拿歸案。對於湘軍內部的關係，曾國藩規定：一軍之權全付統領，大帥不為遙製；一營之權全付營官，統領不為遙製。“如封建之各君其國，庶節節維係，無渙散之虞”。為了保持湘軍從大帥到營、哨官的垂直指揮係統，曾國藩規定，隻看事寄輕重，不管官位尊卑。即使士兵已保至提、鎮大員，而營官僅止從九品，士卒也要絕對服從於營官。營官之於統領亦然。
這樣，士卒由私人關係轉相招引，軍官則憑個人好惡任免，官與官之間也靠同鄉、同事、師生、朋友等私人感情相維係，遂形成湘軍各樹一幟、各護其長的風氣，久而久之，逐漸變成一支軍閥武裝。
募集和訓練官勇鎮壓農民起義，並不是曾國藩的發明。僅就曾國藩集團來說，除前麵提到的江忠源外，胡林翼早在道光末年在貴州任知府時就已開始募勇鎮壓境內各族人民的反抗活動。但他們都沒有觸及軍製的改革、其餉源也沒有很好地解決，所以他們招募的官勇無論在數量上和質量上都不足以獨當一麵，也從未改變作為綠營兵輔助力量的地位。曾國藩前後用了幾年的時間，對綠營、八旗、團練、官勇以及曆代兵製都作過精心研究，對太平軍也有所了解，他取長補短，根據當時的各種條件進行了軍製改革，從而把官勇由輔助性的武裝力量變成為獨立的、自成體係的新式軍隊。這正是曾國藩比江忠源、胡林翼諸人高明的地方。他之所以成為湘、淮軍集團的領袖並不是偶然的。
對於兵勇的訓練，曾國藩一開始就比較重視。曾國藩初到長沙時曾訓練過三營湘勇，其後在鎮壓湖南各地會黨起義中甚感得力。而派往江西的一千湘勇則有兩營從未進行過訓練，因而傷亡慘重，不堪一戰。正反兩麵的經驗使曾國藩的認識又大大提高了一步，進而增強了練兵的信心和決心。他在給駱秉章的信中說：“不練之兵斷不可用。侍今年在省練過三營，雖不足當大寇，然猶可以一戰。六月援江之役，新集之卒未經一日訓練，在江不得力，至今懊悔。”他在批劄中也一再強調，鄉勇不難於招募而難於訓練，並詳列訓練的內容和要求，令部下遵行。曾國藩把訓練的內容和要求分為兩部分，一稱為“訓”，一稱為“練”。“訓”側重於政治與思想方麵，“練”側重於軍事與技藝方麵。他說：“新募之勇全在立營時認真訓練。訓有二，訓打仗之法，訓做人之道。訓打仗則專尚嚴明，須令臨陣之際，兵勇畏主將之法令甚於畏賊之炮子；訓做人之道則全要肫誠，如父母教子，有殷殷望其成立之意，庶人人易於感動。練有二，練隊伍，練技藝。練技藝則欲一人足禦數人，練隊伍則欲數百人如一人。”作人之道又包含兩方麵的內容，一是紀律教育，一是封建倫理教育。湘軍初立時查禁甚嚴，尤其嚴禁吸食鴉片。因為軍隊要求士卒體魄健壯，而鴉片不僅使士卒搞壞身體，而且容易學會偷盜、搶劫，破壞紀律。所以嚴禁吸食鴉片一條明載於營規，各軍皆然，而其他諸禁則各軍略有不同。據說老湘營查禁最多，左宗棠禁止賭博，王錱則連飲酒都禁止，空閑時間隻準練習武藝，優者給予獎勵。
曾國藩對湘軍進行紀律教育，主要是出於政治鬥爭的需要，目的在於使湘軍不至像清朝的其他軍隊那樣漫無紀律，肆意搶劫，以改變政治上的不利地位。當時太平軍紀律嚴明，秋毫無犯，所到之外深受群眾歡迎。而清軍，尤其潮勇則**擄掠，無所不為，受到社會上各階層的反對和譴責，使清政府在輿論上處於很不利的地位。為了挽回人心，改變政治上的不利局麵，把群眾從太平軍方麵爭取過來，曾國藩從一開始就很注意對湘軍進行紀律教育，其主要方式是將官兵集合起來，由他親自訓話。他在給張亮基的信中說：“練勇之舉亦非有他，隻以官兵在鄉不無騷擾，而去歲潮勇有**擄掠之事，民間倡為謠言，反謂兵勇不如賊匪安靜。國藩痛恨斯言，恐人心一去不可挽回，誓欲練成一旅，秋毫無犯，以挽民心而塞民口。”為達此目的，他“每逢三、八操演，集諸勇而教之，反複開說至千百語，但令其無擾百姓”；以至“每次與諸弁兵講話，至一時數刻之久，雖不敢雲說法點頑石之頭，亦誠欲苦口滴杜鵑之血。”蓋欲感動一二，冀其不擾百姓，以雪兵勇不如賊匪之恥，而稍變武弁漫無紀律之態。由此也可以看出曾國藩的政治眼光和對本階級的忠誠是高於一般清朝官員的。同時，這樣帶著明確的目的對軍隊進行政治和紀律教育，也是曆來所沒有的，可以說是曾國藩的一項發明創造。
曾國藩的軍事訓練主要可歸結為操、演、巡、點四個方麵，操即上操，演即演習諸般武藝和陣法，巡即巡邏、放哨、站牆子，點即點名。曾國藩規定，湘軍士兵每天在黎明和傍晚各上操一次，中午和熄燈前各點名一次，五更三點與掌燈後各派三成隊伍站牆子一次。他還規定，每晚派一成隊伍站牆子，一人唱更，如離敵很近則加倍。關於武藝、陣法的演習，對新勇規定尤細。新募之勇每十日中逢三、六、九日上午演武藝、陣法，逢一、四、七日上午演抬槍、鳥槍打靶與陣法，逢二、八日上午練習跑跳，逢五、十上午演連環槍法，而每天上午則演習拳、棒、刀、矛等。陣法主要練戚繼光的鴛鴦陣、三才陣，要求士兵能整齊熟練，變化自如。技藝操練則要求士兵能縱身上一丈高之屋、越一丈寬之壕，拋火球於二十丈之外。新勇與舊勇僅演武內容有些不同，日常操點、巡哨則完全一樣，除打仗外，天天如此，不得間斷。與八旗、綠營各營比較，除訓練抓得很緊外，每天兩次點名、站牆子也是湘軍的特點。點名是為了防止士卒隨便離營，士卒離營則部隊減員，降低戰鬥力。站牆子就是守衛營牆，實際上屬於班哨、排哨之類，早晚派三成隊伍站牆子則是為了防止敵人的突然襲擊，因每日早晚是最容易受到敵人襲擊的時刻，若有三分之一的人處於戒備狀態，一旦受到襲擊就可以暫時頂住，使其餘的人有足夠的時間做好準備，投入戰鬥，不至於一觸即潰。這都是接受以往教訓，提高軍隊戰鬥力的措施。
同時，曾國藩對湘軍的行軍紮營亦有具體規定，擇地、布局詳加指劃，挑溝、築牆皆有尺寸，每天一駐下來必須大修工事，在工事做好之前，既不準休息，也不準與敵人開仗。所以湘軍行軍異常緩慢，簡直如蝸牛爬行，每日遲行早住，行程不過三十裏，用於築壘的時間竟與走路的時間一樣長。
湘軍的編製以營為基本單位，營以下為哨，哨以下陸師為隊，水師為船，馬隊為棚。起初湘軍僅有陸勇數千人，營以上不再設官，各營直轄於曾國藩。當時曾有人提議設總統管轄各營，曾國藩沒有采納。後來湘軍人數漸眾，遂於營官之上設置統領、分統等官統轄各營。統領之製始於鹹豐四年二月湘軍東征之初，曾國藩率水陸一萬七千人自湖南出發往攻湖北的太平軍，為便於統轄，遂設水、陸營務處各一人，水路為褚汝航，陸路為朱孫詒。他認為，曆來軍營皆有統帶大員，“或稱翼長，或稱統領，或但稱營務處”，名稱不同，其實質並無區別。所以他有時稱其為總統，有時稱之為總提調，尚無固定名稱。長沙整軍和城陵磯大戰之後，水師僅存楊載福、彭玉麟、李孟群三支，陸師隻有塔齊布、羅澤南二部。鹹豐四年底五年初李孟群離開水師，湘軍水陸大將就隻有塔、羅、楊、彭四人了，統領的名稱大約是在此前後開始使用的。鹹豐六年下半年後湘軍人數迅速擴充，統領也日益多起來。至鹹豐末年，湘軍人數愈眾，李續宜、多隆阿、鮑超、曾國荃皆領萬人左右，為便於統轄，遂又於統領之下設置分統以管轄各營。分統之製始創於胡林翼。他首先在李續宜部設置分統，時間在鹹豐十年。同治元年(1862)曾國藩把它推廣於曾國荃、鮑超兩軍，始稱分統。設立分統之初，李續宜部不足萬人，分為四軍，李續宜自統一軍，另設蔣凝學、蕭慶衍、成大吉三分統，各領二至三千人。鮑超的霆營約十五營九千人，分為三軍，鮑超自領一軍，另設婁雲慶、宋國永兩分統，每人約領五營三千人。曾國荃部約三十營一萬五千人，分為六軍，曾國荃自領一軍，另設彭毓橘、蕭孚泗、張詩日、劉連捷、易良虎五分統，每人約統五營二千五百人。後吉字營增至三萬五千人，霆營增至約一萬九千人，分統人數或所統兵員亦相應增加。
湘軍陸師營製最初為每營三百六十人，大約是鹹豐二年朱孫詒奉程矞采之命募集湘勇時與劉蓉、羅澤南、王錱等人一起製定的。曾國藩移駐衡州後，鹹豐四年十二月又與羅澤南、劉蓉、郭蒿燾、曾國葆改定營製，每營加長夫一百二十人、抬槍十六人，成五百人之數。但這次所定營製未收入曾國藩全集，在別處也未發現原。鹹豐八年曾國藩再出後，又於鹹豐十年參照左宗棠、王錱、胡林翼、李續宜諸家營製，同李榕一起詳定營製，對各項章程規定得甚為詳細完整。這個核定過的營製後來收入曾國藩全集中，談湘軍營製者皆以此為本。水師營製大約是鹹豐三年十月改定陸師營製時製定的，亦未收入曾國藩全集，而被王定安轉錄入《湘軍記》一書中。據羅爾綱先生考證，曾在鹹豐五年至六年間做過個別修正。馬隊營製，據羅爾綱先生考證最初製定於鹹豐九年，同治四年或五年，曾國藩曾在鎮壓撚軍期間做過修改，改定後的馬隊章程亦被收入曾國藩全集中。
湘軍餉章亦與綠營不同。曾國藩認為，綠營兵所以缺乏訓練、戰鬥力甚低，一是差役太重，二是坐餉太低。綠營兵平時每月餉銀馬兵二兩，戰兵一兩五錢，守兵一兩。清朝初年尚可維持生活，及至道光、鹹豐年間已不夠五口之家食用，因而不得不出營做小販謀生，再加上經常離營供差，就很少有時間在營訓練了。曾國藩為了使士兵為他賣命，除每營增加長夫一百二十人以減輕士兵的勞役負擔外，還提高了士兵平日糧餉供應標準。湘軍餉章是鹹豐三年十月改定營製時製定的。當時往來於湖南的各路兵勇很多，餉章各有不同，張國梁勇營每人每月餉銀五兩四錢，江忠源楚勇，每人每月餉銀四兩五錢。鹹豐三年夏，內閣學士、幫辦軍務勝保曾奏請招募陸勇，每月餉銀四兩五錢，經戶部議準，以後江南大營募勇即照此辦理，定為奏銷常例。曾國藩參考這幾種餉章，尤其江忠源、張國梁勇營餉章，量為酌減，製定了湘軍糧餉章程。規定陸師營官每月薪水銀五十兩，辦公銀一百五十兩，夫價銀六十兩，共計二百六十兩，凡幫辦、書記、醫生、工匠薪水及置辦旗幟、號補名費用統統包括在內。其他各弁兵每月餉銀為哨官九兩，哨長六兩，什長四兩八錢，親兵護勇四兩五錢，夥勇三兩三錢，長夫三兩。水師兵餉營官與陸師營官同，頭篙、舵工與哨長同，艙長與什長同，惟哨官薪水為陸師兩倍，每月銀十八兩。總計湘軍餉用，大約平均每人每月需銀六兩。曾國藩為防止各軍統領多設官員、長夫，冒領軍餉，特在餉章中規定，凡統帶千人者月支餉銀不得超過五千八百兩，統帶萬人者不得超過五萬八千兩。
湘軍餉章對弁兵薪餉的規定是相當優厚的，尤其是營官和統領，連曾國藩都不能不承認“章程本過於豐厚”。統計其各項收入，營官每月為二百六十兩，分統、統領帶兵三千以上者三百九十兩，五千以上者五百二十兩，萬人以上者六百五十兩。故王錱運說：“將五百人則歲入三千，統萬人歲入六萬金，尤廉將也。”湘軍將領除多隆阿一人外，“人人足於財，十萬以上貲殆百數”。於是，“將士愈饒樂，爭求從軍”。這固然調動了湖南農民，尤其紳士、生的從軍積極性，但同時也為日後籌餉帶來困難。為解決這個矛盾，湘軍采取發半餉的辦法，一般隻發五成餉，欠餉數月以至半年成為普遍現象，久而久之，形成風氣，士兵亦習以為常。為防止士兵離營，甚至有意拖欠軍餉，或扣下大部分餉銀存入公所，等士卒遣散或假歸時進行核算，酌發部分現銀以充川資，其餘部分由糧台發一印票，至湖南後路糧台付清。若士兵擅自離營，欠餉、存餉即被沒收，不再發給。這樣，士兵苦無川資，又戀於餉銀，也就不會輕易離營了。同時，士兵一旦假歸或遣散回家，就能領到一大筆銀兩，對未曾應募入伍的人也可以產生巨大的**力。這樣，曾國藩就達到了一箭三雕的目的：既減輕了籌餉的困難，又防止了士兵的逃跑，還能引誘大批農民和書生踴躍應募。
湘軍分為水、陸兩部。陸師的建立最早應從鹹豐三年算起。這年夏天曾國藩同江忠源商定練勇萬人的計劃，初步確定了湘軍的規模。曾國藩打算編練成軍之後，概交江忠源指揮，以為鎮壓太平天國革命的軍事資本。這年秋天，又奉創辦水師之命，遂改原定集練陸師萬人的計劃為水、陸各五千人，營製亦改為每營五百人。然而這時湘軍陸師的實際人數已大大超過五千人，因而不得不對現有各營進行縮編。曾國藩提出，鄒壽章、周鳳山、儲玫躬、曾國葆和新化勇各為一營五百人不變，塔齊布、羅澤南各將兩營七百人縮編為一營五百人，王錱六營約二千二百人縮編為三營一千五百人，其餘遣散。王錱不服，認為這是曾國藩借故打擊自己，並訴之於駱秉章。駱秉章認為王錱所募新勇可用，無須遣散。從此王錱率營脫離曾國藩，投靠駱秉章的門下。又因羅澤南年歲(四十六歲)較大，不願再次遠征，而湘南地區仍有天地會的活動，亦須留有一定兵力，遂將羅澤南部湘軍留駐衡州。這樣，隨同曾國藩出征的陸師就僅有六營三千人了。恰在這時，平江知縣林源恩投書曾國藩，願充一營官。曾國藩令其募平江勇五百，編為一營；另外又令朱孫詒、鄒世琦、楊名聲各募一營，湊成十營五千人之數，使湘軍陸師初具規模。
湘軍水師的籌建晚於陸師，它是在曾國藩移駐衡州後開始的。
清政府最早設團練大臣是鹹豐二年八月，任命的第一個團練大臣的是江西團練大臣、前刑部尚書陳孚恩；接著，當年十一月二十九日(185318)任命曾國藩為湖南團練大臣；十二月二十五日任命在籍養病的前廣西巡撫周天爵為發徽團練大臣；不久，又命工部侍郎呂賢基、翰林院編修李鴻章回安徽原籍辦團練。不過這時設置團練大臣還僅限於太平軍勢力所及各省，人數也比較少。自鹹豐三年二月將舉辦團練的政策推行於全國各省之後，團練大臣也一天天多起來，至當年二月底止，短短一個月內，就先後任命四批團練大臣，連陳孚恩、曾國藩、周天爵、呂賢基在內總計達45人，人數最多的山東一省就有團練大臣13人，比它稍次的江蘇省也有團練大臣8人。同時，清政府還命令內閣將鹹豐皇帝曆次下達的有關舉辦團練的諭旨以及嘉慶年間明亮、德楞泰的《築堡禦賊疏》、龔景翰的《堅避清野議》刊刻印發各省，參照執行。由此可以看出清政府的團練政策和為動員各地土豪劣紳舉辦團練所做的努力。
湖南地主階級具有豐富的鎮壓農民反抗的經驗，其舉辦團練的曆史也是由來已久的。早在乾隆末年，辰州府鳳凰廳同知傅鼐就曾用普遍築堡辦團、募勇集練成軍的辦法鎮壓了湘黔邊境的苗民起義。道光以來，反動士紳募勇成軍鎮壓農民和少數民族起義的例子更是屢見不鮮，史不絕書，其中最突出的事例是江忠源。江忠源的家鄉新寧縣化非常落後，“清代向無捷鄉試者，迨丁酉科江忠源以拔貢中式，人謂之破天荒”，以是小有名氣。但因其賭博**，遂為湖南“禮法之士”所不齒，唯與歐陽兆熊、郭蒿燾、曾國藩等人友善。道光二十七年江忠源家鄉新寧縣爆發雷再浩起義，被他募勇鎮壓下去。由此名聲大噪，保為知縣，簡發浙江，很快實授秀水知縣，不久丁憂回籍。鹹豐元年六月賽尚阿充任欽差大臣，疏調江忠源隨營差遣。他聞命即起，迅速趕往廣西前線，留在烏蘭泰幕中參謀軍事，並令其弟江忠源募勇五百名帶往廣西隨營作戰，號稱楚勇，甚得烏蘭泰賞識。這是湖南鄉勇最早出省作戰。鹹豐元年底，江忠源從永安城外回家養病，聞太平軍圍攻桂林，又立刻增募新勇，力疾再出，並邀請劉長佑為助手，兼程趕赴桂林軍營。劉長佑(18181887)字子默，號印渠，湖南新寧人，出身於一個小富紳家庭。自幼讀書，屢試不中，在嶽麓書院先後讀書十二年，直到道光二十九年始考取拔貢生。這年冬，雷再浩舊部李沅發在新寧起義，劉長佑親自組織團練，參加了鎮壓活動。轉年經江忠源引薦，在京求見曾國藩。曾國藩對他“深相愛重”，一見即“歎曰：‘戡亂才也’”。他與江忠源自幼氣味相投，又是姻親，所以一得到邀請便欣然應命，從此開始了鎮壓太平天國革命的反革命生涯。在桂林城外，江忠源、劉長佑率領的楚勇曾屢次與太平軍交戰，江忠源亦因此遷為知府。後因與向榮意見不合，離營回湘，聞太平軍從桂林撤圍北上，欲入湖南，急在湘江上遊的險要地段蓑衣渡設伏襲擊太平軍，致使太平軍兵力損耗一半，輜重給養全部丟棄，傑出領導人馮雲山壯烈犧牲，遭受起義以來從未有過的損失。當時長沙兵力空虛，士無戰心，城牆傾圮，城門殘缺不全，若太平軍沿湘江順流而下，攻取長沙是很容易的。由於江忠源的襲擊，迫使太平軍不得不棄舟登陸，繞道湘南，以致喪失了攻克長沙的最好機會。其後江忠源又間道趲程趕往長沙，參加了各路清軍防守長沙的戰鬥，並因長沙城守及鎮壓會黨起義之功擢為道員。
曾國藩的家鄉湘鄉縣也是湖南舉辦團練最早的縣份之一。早在道光二十九年曾國藩的二弟曾國潢就在家鄉組織“安良會”，對付吃“排飯”的饑民。鹹豐元年劉東屏、劉蓉父子和曾麟書、曾國潢父子在湖廣總督程矞采、湘鄉知縣朱孫詒的支持下組織團練武裝，鎮壓湘鄉縣境內的抗糧鬥爭。他們爭先購置眼線，率勇捕人，連自己的親戚朋友也不放過，很快把這場鬥爭鎮壓了下去。鹹豐二年春太平軍攻桂林不下，廣西巡撫鄒鳴鶴即移谘湖廣總督程矞采，言太平軍有入湘之象，讓湖南方麵早作準備。消息傳出後，湖南各縣官紳紛紛舉辦團練，而湘鄉知縣朱孫詒則尤為積極。他親自召集各鄉巨紳議定團練章程，並在湘鄉縣城和永豐、婁底兩處分設三個團練局，號召各鄉士紳普遍辦團。同時還在湘鄉縣城成立總團，請曾國藩的父親曾麟書以湘鄉首戶巨紳總其成，並敦請著名士紳羅澤南、劉蓉等協辦本縣團練。
羅澤南(18071856)字仲嶽，號羅山，自幼家貧，十九歲起以教書為生。他刻苦攻讀，屢應鄉試不中，直到道光三十年才被湘鄉知縣朱孫詒舉為孝廉方正。羅澤南早年交遊不廣，道光十八年始與劉蓉交好，道光二十四年又與郭嵩燾、郭嵩燾兄弟相識，直到鹹豐元年在善化賀長齡家教書時方與曾國藩通信。羅澤南是個忠於封建禮教的士人，多年來潛心程朱理學，並著有《西銘講義》、《人極衍義》等書，甚為曾國藩所推崇。曾國藩說羅澤南之誌“以為天地萬物本吾一體，量不周於**，澤不被於匹夫，虧辱莫大焉”。他曾長期在善化、湘鄉等地教書，向青年學生灌輸封建倫理觀念，培養出一大批忠於封建秩序的儒生。湘軍骨幹人物玉錱、李續賓、李續宜、蔣益澧、劉騰鴻、楊昌浚、劉典等都是他的學生。王錱(18251857)字璞山，原名開作，字家賓，二十歲入縣學，同年投到羅澤南門下為弟子，初辦團練時王錱最積極，在羅澤南諸弟子中地位亦最高，湘鄉練勇集訓之始，他就獨領一營，所以後來的湘軍將領多為羅、王、江、劉舊部。李續賓(18181858)字迪庵，湖南湘鄉人。李續宜字克讓，號希庵，李續賓胞弟。李續賓年少時膂力過人，不喜讀書，因親老家貧，以販煤養親並供弟讀書。羅澤南欣賞他的“孝友”，將他兄弟二人一並收為弟子。蔣益澧字薌泉，劉騰鴻字峙衡，楊昌浚字石泉，劉典字克庵，皆為湘鄉人，羅澤南辦團練時他們都一齊參加進來，後來皆成為著名的湘軍將領。
太平軍進入湘南地區後，湖廣總督程矞采曾令湘鄉知縣朱孫詒募勇千人赴衡州防堵，從此，湘鄉縣不僅有遍布各鄉的團丁，還有一支由官府出錢、集中於縣城進行編練的練勇。當時湘鄉練勇有一千多人，分為中、左、右三營，分別由羅澤南、王錱、康景暉帶領(後來右營營官改任鄒壽章)。太平軍離開湖南後，羅澤南因辦團練出力被保為候補訓導。
除新寧、湘鄉而外，湖南的其他縣份也辦起了團練，用以對付會黨起義和群眾抗糧鬥爭。其組織辦法與湘鄉相似，通常是各鄉普遍辦團，同時招募部分鄉勇在縣城集中訓練，稱為練勇，費用由各府、縣官庫支給。其餘各鄉團練則由各鄉紳自行籌集，自行經管。在鎮壓各地會黨和防堵、襲擊太平軍的活動中，除以上兩縣外，辰州、寶慶、瀘溪、瀏陽等地的練勇也比較有名，皆已編練成軍。這些練勇就成為後來曾國藩創辦湘軍時最初的組織基礎。
另起爐灶、重建新軍的思想，曾國藩早在鹹豐二年底建議張亮基將所調各縣練勇“改募成軍”時就很明確。他在給寶慶知府魁聯的信中解釋采取這一決策的原因說：“就現在之額兵練之而化為有用，誠為善策。然習氣太盛，安能更鑄其麵目而蕩滌其腸胃?恐嶽王複生，半年可以教成其武藝；孔子複生，三年不能變革其惡習。故鄙見竊謂現在之兵不可練之而為勁卒，新募之勇卻可練之使補額兵。救荒之說，自是敝邑與貴治急務。”
然而未來的新軍究竟是什麽樣子，曾國藩胸中並無成熟方案，因而他在建立所謂“大團”時，僅強調“今欲改弦更張，總宜以練兵為要務”。直到這年夏天，江忠源在給清廷的奏折中表示欲采取兵勇混用的辦法(從各地征調綠營六千人，從湖南招募官勇四千人，組成一支萬人之師)戰勝太平軍時，曾國藩才致信江忠源等人，指出綠營兵製的根本弊病，將其致敗的主要原因歸咎於調遣之法不善，提出改革軍製的主張。他說，“今日兵事最堪痛哭者，莫大於‘敗不相救’四字”，“雖此軍大敗奔北，流血成淵，彼軍袖手而旁觀，哆口而微笑”。他認為，造成這種積弊的主要原因是由於調遣成法不善。曾國藩指出，“當其調兵之時，東抽一百，西撥五十，或此兵而管以彼弁，或楚弁而轄以黔鎮”，“卒與卒不習，將與將不和”，遂造成“勝則相忌，敗不相救”的風氣。既然“危急之際無人救應，誰肯向前獨履危地，出萬死之域以博他人之一微笑?是以相率為巧，近營則避匿不出，臨陣則狂奔不止，以期於終身不見賊麵而後快”。他認為，太平軍所以無往不勝，不僅由於其紀律嚴明，深得民心，還由於它內部團結，誓同生死，“若非練兵萬人，合成一心”，斷難製此強敵之死命。因而，這支軍隊必須“呼吸相顧，痛癢相關，赴火同往，蹈湯同行，勝則舉杯酒以讓功，敗則出死力以相救。賊有誓不相棄之死黨，吾官兵亦有誓不相棄之死黨”。隻有這樣，“庶可血戰一二次，漸新吾民之耳目而奪逆賊之魂魄”。可以說這是曾國藩對所建新軍政治素質的要求，他製定軍製改革的各項措施都是以此為出發點的。
曾國藩對綠營軍製的改革主要表現在兩個方麵：一是以募兵製代替世兵製，二是將“兵為國有”變為“兵為將有”。前麵已經講過，綠營兵實行世兵製度，基本上是父子相承，當兵為業，綠營子弟成年後即可隨營習武，稱為隨軍餘丁，一旦營中出現空額，便可補缺吃糧。所以，綠營一般不從外麵招募，隻有在餘丁不足時才自外募兵補缺。湘軍屬官勇性質，數額不定，全部招募，且隨著形勢的變化和需要的不同隨時增減或裁撤。曾國藩為了不使湘軍染上綠營的種種惡習，首先要求湘軍在組織上與綠營徹底割斷聯係。他認為，綠營的**習氣已“深入膏盲，牢不可破”，隻有“盡募新勇，不雜一卒，不濫收一弁”，“特開生麵，赤地新立”，才能“掃除陳跡”，練成勁旅。他還說：“國藩數年來痛恨軍營習氣，武弁自守備以上無不喪盡天良，故決不用營兵，不用鎮將。”曾國藩規定，湘軍士兵主要招募健壯、樸實的山鄉農民，不僅不收營兵，也不要集鎮碼頭上油頭滑麵之人，更不要曾在衙門當過差的書役、胥吏之類。湘軍的軍官，主要招聘紳士、生充任，對政治、思想和身體條件都有一定要求。曾國藩在給朋友的信中提出四條標準，請人為他物色湘軍軍官。他說：“帶勇之人，第一要才堪治民，第二要不怕死，第三要不急名利，第四要耐受辛苦。治民之才不外公、明、勤三字，不公不明則諸勇必不悅服，不勤則營務細巨皆廢弛不治，故第一要務在此。不怕死則臨陣當先，士卒乃可效命，故次之。為名利而出者，保舉稍遲則怨，稍不如意再怨，與同輩爭薪水，與士兵爭毫厘，故又次之。身體羸弱過勞則病，精神乏短者久用則散，故又次之。”又說：“四者似過於求備，而苟闕其一則乃不可以帶勇。”“大抵有忠義血性，則四者相從以俱至；無忠義血性，則貌似四者終不可恃。”可見條件雖多，關鍵還是政治思想表現。曾國藩選拔軍官始終堅持政治標準第一的原則，隻要被他認為“有忠義血性”者，不論營弁、營兵、書生，都可錄用。後來成為湘軍名將的塔齊布、周鳳山、鮑超、楊載福都是營弁或營兵出身。至於其他條件，則各有高低差等，更可以在戰爭中磨煉和培養了。
為了加強對士兵的控製和湘軍內部的團結，曾國藩又在兩個方麵做出了努力：一是加強各級軍官的權力，下級絕對服從上級，士兵絕對服從軍官；二是募勇的地域原則和私人情誼至上的原則。曾國藩規定，湘軍的招募，統領由大帥挑選，營官由統領挑選，哨官由營官挑選，什長由哨官挑選，士兵由什長挑選。曾國藩認為，“口糧雖出自公款，而勇丁感營官挑選之恩，皆若受其私惠，平日既有恩誼相孚，臨陣自能患難相顧”。曾國藩還認為，一營一軍之中若募有兩地的士兵，必然造成地區之間的不和。因而不如幹脆隻用一地之人，可以利用地域觀念和同鄉感情加強團結。所以湘軍一般隻在湖南募兵，又主要在長沙、寶慶二府招募，尤以湘鄉最多。湘軍不論在何地作戰，凡添新勇，都要回湖南招募。湘軍軍官外省人間或有之，而士兵則外省人極少隻是到了後期，才偶爾募集少量外省士兵，以補充兵源的不足。為防止士兵逃跑，曾國藩還規定，凡應募者必須取具保結，並將其府縣裏居及父母、兄弟、妻、子姓名詳細登記入冊。這樣士兵就不敢逃離營伍；即使有逃跑者，亦可按籍捉拿歸案。對於湘軍內部的關係，曾國藩規定：一軍之權全付統領，大帥不為遙製；一營之權全付營官，統領不為遙製。“如封建之各君其國，庶節節維係，無渙散之虞”。為了保持湘軍從大帥到營、哨官的垂直指揮係統，曾國藩規定，隻看事寄輕重，不管官位尊卑。即使士兵已保至提、鎮大員，而營官僅止從九品，士卒也要絕對服從於營官。營官之於統領亦然。
這樣，士卒由私人關係轉相招引，軍官則憑個人好惡任免，官與官之間也靠同鄉、同事、師生、朋友等私人感情相維係，遂形成湘軍各樹一幟、各護其長的風氣，久而久之，逐漸變成一支軍閥武裝。
募集和訓練官勇鎮壓農民起義，並不是曾國藩的發明。僅就曾國藩集團來說，除前麵提到的江忠源外，胡林翼早在道光末年在貴州任知府時就已開始募勇鎮壓境內各族人民的反抗活動。但他們都沒有觸及軍製的改革、其餉源也沒有很好地解決，所以他們招募的官勇無論在數量上和質量上都不足以獨當一麵，也從未改變作為綠營兵輔助力量的地位。曾國藩前後用了幾年的時間，對綠營、八旗、團練、官勇以及曆代兵製都作過精心研究，對太平軍也有所了解，他取長補短，根據當時的各種條件進行了軍製改革，從而把官勇由輔助性的武裝力量變成為獨立的、自成體係的新式軍隊。這正是曾國藩比江忠源、胡林翼諸人高明的地方。他之所以成為湘、淮軍集團的領袖並不是偶然的。
對於兵勇的訓練，曾國藩一開始就比較重視。曾國藩初到長沙時曾訓練過三營湘勇，其後在鎮壓湖南各地會黨起義中甚感得力。而派往江西的一千湘勇則有兩營從未進行過訓練，因而傷亡慘重，不堪一戰。正反兩麵的經驗使曾國藩的認識又大大提高了一步，進而增強了練兵的信心和決心。他在給駱秉章的信中說：“不練之兵斷不可用。侍今年在省練過三營，雖不足當大寇，然猶可以一戰。六月援江之役，新集之卒未經一日訓練，在江不得力，至今懊悔。”他在批劄中也一再強調，鄉勇不難於招募而難於訓練，並詳列訓練的內容和要求，令部下遵行。曾國藩把訓練的內容和要求分為兩部分，一稱為“訓”，一稱為“練”。“訓”側重於政治與思想方麵，“練”側重於軍事與技藝方麵。他說：“新募之勇全在立營時認真訓練。訓有二，訓打仗之法，訓做人之道。訓打仗則專尚嚴明，須令臨陣之際，兵勇畏主將之法令甚於畏賊之炮子；訓做人之道則全要肫誠，如父母教子，有殷殷望其成立之意，庶人人易於感動。練有二，練隊伍，練技藝。練技藝則欲一人足禦數人，練隊伍則欲數百人如一人。”作人之道又包含兩方麵的內容，一是紀律教育，一是封建倫理教育。湘軍初立時查禁甚嚴，尤其嚴禁吸食鴉片。因為軍隊要求士卒體魄健壯，而鴉片不僅使士卒搞壞身體，而且容易學會偷盜、搶劫，破壞紀律。所以嚴禁吸食鴉片一條明載於營規，各軍皆然，而其他諸禁則各軍略有不同。據說老湘營查禁最多，左宗棠禁止賭博，王錱則連飲酒都禁止，空閑時間隻準練習武藝，優者給予獎勵。
曾國藩對湘軍進行紀律教育，主要是出於政治鬥爭的需要，目的在於使湘軍不至像清朝的其他軍隊那樣漫無紀律，肆意搶劫，以改變政治上的不利地位。當時太平軍紀律嚴明，秋毫無犯，所到之外深受群眾歡迎。而清軍，尤其潮勇則**擄掠，無所不為，受到社會上各階層的反對和譴責，使清政府在輿論上處於很不利的地位。為了挽回人心，改變政治上的不利局麵，把群眾從太平軍方麵爭取過來，曾國藩從一開始就很注意對湘軍進行紀律教育，其主要方式是將官兵集合起來，由他親自訓話。他在給張亮基的信中說：“練勇之舉亦非有他，隻以官兵在鄉不無騷擾，而去歲潮勇有**擄掠之事，民間倡為謠言，反謂兵勇不如賊匪安靜。國藩痛恨斯言，恐人心一去不可挽回，誓欲練成一旅，秋毫無犯，以挽民心而塞民口。”為達此目的，他“每逢三、八操演，集諸勇而教之，反複開說至千百語，但令其無擾百姓”；以至“每次與諸弁兵講話，至一時數刻之久，雖不敢雲說法點頑石之頭，亦誠欲苦口滴杜鵑之血。”蓋欲感動一二，冀其不擾百姓，以雪兵勇不如賊匪之恥，而稍變武弁漫無紀律之態。由此也可以看出曾國藩的政治眼光和對本階級的忠誠是高於一般清朝官員的。同時，這樣帶著明確的目的對軍隊進行政治和紀律教育，也是曆來所沒有的，可以說是曾國藩的一項發明創造。
曾國藩的軍事訓練主要可歸結為操、演、巡、點四個方麵，操即上操，演即演習諸般武藝和陣法，巡即巡邏、放哨、站牆子，點即點名。曾國藩規定，湘軍士兵每天在黎明和傍晚各上操一次，中午和熄燈前各點名一次，五更三點與掌燈後各派三成隊伍站牆子一次。他還規定，每晚派一成隊伍站牆子，一人唱更，如離敵很近則加倍。關於武藝、陣法的演習，對新勇規定尤細。新募之勇每十日中逢三、六、九日上午演武藝、陣法，逢一、四、七日上午演抬槍、鳥槍打靶與陣法，逢二、八日上午練習跑跳，逢五、十上午演連環槍法，而每天上午則演習拳、棒、刀、矛等。陣法主要練戚繼光的鴛鴦陣、三才陣，要求士兵能整齊熟練，變化自如。技藝操練則要求士兵能縱身上一丈高之屋、越一丈寬之壕，拋火球於二十丈之外。新勇與舊勇僅演武內容有些不同，日常操點、巡哨則完全一樣，除打仗外，天天如此，不得間斷。與八旗、綠營各營比較，除訓練抓得很緊外，每天兩次點名、站牆子也是湘軍的特點。點名是為了防止士卒隨便離營，士卒離營則部隊減員，降低戰鬥力。站牆子就是守衛營牆，實際上屬於班哨、排哨之類，早晚派三成隊伍站牆子則是為了防止敵人的突然襲擊，因每日早晚是最容易受到敵人襲擊的時刻，若有三分之一的人處於戒備狀態，一旦受到襲擊就可以暫時頂住，使其餘的人有足夠的時間做好準備，投入戰鬥，不至於一觸即潰。這都是接受以往教訓，提高軍隊戰鬥力的措施。
同時，曾國藩對湘軍的行軍紮營亦有具體規定，擇地、布局詳加指劃，挑溝、築牆皆有尺寸，每天一駐下來必須大修工事，在工事做好之前，既不準休息，也不準與敵人開仗。所以湘軍行軍異常緩慢，簡直如蝸牛爬行，每日遲行早住，行程不過三十裏，用於築壘的時間竟與走路的時間一樣長。
湘軍的編製以營為基本單位，營以下為哨，哨以下陸師為隊，水師為船，馬隊為棚。起初湘軍僅有陸勇數千人，營以上不再設官，各營直轄於曾國藩。當時曾有人提議設總統管轄各營，曾國藩沒有采納。後來湘軍人數漸眾，遂於營官之上設置統領、分統等官統轄各營。統領之製始於鹹豐四年二月湘軍東征之初，曾國藩率水陸一萬七千人自湖南出發往攻湖北的太平軍，為便於統轄，遂設水、陸營務處各一人，水路為褚汝航，陸路為朱孫詒。他認為，曆來軍營皆有統帶大員，“或稱翼長，或稱統領，或但稱營務處”，名稱不同，其實質並無區別。所以他有時稱其為總統，有時稱之為總提調，尚無固定名稱。長沙整軍和城陵磯大戰之後，水師僅存楊載福、彭玉麟、李孟群三支，陸師隻有塔齊布、羅澤南二部。鹹豐四年底五年初李孟群離開水師，湘軍水陸大將就隻有塔、羅、楊、彭四人了，統領的名稱大約是在此前後開始使用的。鹹豐六年下半年後湘軍人數迅速擴充，統領也日益多起來。至鹹豐末年，湘軍人數愈眾，李續宜、多隆阿、鮑超、曾國荃皆領萬人左右，為便於統轄，遂又於統領之下設置分統以管轄各營。分統之製始創於胡林翼。他首先在李續宜部設置分統，時間在鹹豐十年。同治元年(1862)曾國藩把它推廣於曾國荃、鮑超兩軍，始稱分統。設立分統之初，李續宜部不足萬人，分為四軍，李續宜自統一軍，另設蔣凝學、蕭慶衍、成大吉三分統，各領二至三千人。鮑超的霆營約十五營九千人，分為三軍，鮑超自領一軍，另設婁雲慶、宋國永兩分統，每人約領五營三千人。曾國荃部約三十營一萬五千人，分為六軍，曾國荃自領一軍，另設彭毓橘、蕭孚泗、張詩日、劉連捷、易良虎五分統，每人約統五營二千五百人。後吉字營增至三萬五千人，霆營增至約一萬九千人，分統人數或所統兵員亦相應增加。
湘軍陸師營製最初為每營三百六十人，大約是鹹豐二年朱孫詒奉程矞采之命募集湘勇時與劉蓉、羅澤南、王錱等人一起製定的。曾國藩移駐衡州後，鹹豐四年十二月又與羅澤南、劉蓉、郭蒿燾、曾國葆改定營製，每營加長夫一百二十人、抬槍十六人，成五百人之數。但這次所定營製未收入曾國藩全集，在別處也未發現原。鹹豐八年曾國藩再出後，又於鹹豐十年參照左宗棠、王錱、胡林翼、李續宜諸家營製，同李榕一起詳定營製，對各項章程規定得甚為詳細完整。這個核定過的營製後來收入曾國藩全集中，談湘軍營製者皆以此為本。水師營製大約是鹹豐三年十月改定陸師營製時製定的，亦未收入曾國藩全集，而被王定安轉錄入《湘軍記》一書中。據羅爾綱先生考證，曾在鹹豐五年至六年間做過個別修正。馬隊營製，據羅爾綱先生考證最初製定於鹹豐九年，同治四年或五年，曾國藩曾在鎮壓撚軍期間做過修改，改定後的馬隊章程亦被收入曾國藩全集中。
湘軍餉章亦與綠營不同。曾國藩認為，綠營兵所以缺乏訓練、戰鬥力甚低，一是差役太重，二是坐餉太低。綠營兵平時每月餉銀馬兵二兩，戰兵一兩五錢，守兵一兩。清朝初年尚可維持生活，及至道光、鹹豐年間已不夠五口之家食用，因而不得不出營做小販謀生，再加上經常離營供差，就很少有時間在營訓練了。曾國藩為了使士兵為他賣命，除每營增加長夫一百二十人以減輕士兵的勞役負擔外，還提高了士兵平日糧餉供應標準。湘軍餉章是鹹豐三年十月改定營製時製定的。當時往來於湖南的各路兵勇很多，餉章各有不同，張國梁勇營每人每月餉銀五兩四錢，江忠源楚勇，每人每月餉銀四兩五錢。鹹豐三年夏，內閣學士、幫辦軍務勝保曾奏請招募陸勇，每月餉銀四兩五錢，經戶部議準，以後江南大營募勇即照此辦理，定為奏銷常例。曾國藩參考這幾種餉章，尤其江忠源、張國梁勇營餉章，量為酌減，製定了湘軍糧餉章程。規定陸師營官每月薪水銀五十兩，辦公銀一百五十兩，夫價銀六十兩，共計二百六十兩，凡幫辦、書記、醫生、工匠薪水及置辦旗幟、號補名費用統統包括在內。其他各弁兵每月餉銀為哨官九兩，哨長六兩，什長四兩八錢，親兵護勇四兩五錢，夥勇三兩三錢，長夫三兩。水師兵餉營官與陸師營官同，頭篙、舵工與哨長同，艙長與什長同，惟哨官薪水為陸師兩倍，每月銀十八兩。總計湘軍餉用，大約平均每人每月需銀六兩。曾國藩為防止各軍統領多設官員、長夫，冒領軍餉，特在餉章中規定，凡統帶千人者月支餉銀不得超過五千八百兩，統帶萬人者不得超過五萬八千兩。
湘軍餉章對弁兵薪餉的規定是相當優厚的，尤其是營官和統領，連曾國藩都不能不承認“章程本過於豐厚”。統計其各項收入，營官每月為二百六十兩，分統、統領帶兵三千以上者三百九十兩，五千以上者五百二十兩，萬人以上者六百五十兩。故王錱運說：“將五百人則歲入三千，統萬人歲入六萬金，尤廉將也。”湘軍將領除多隆阿一人外，“人人足於財，十萬以上貲殆百數”。於是，“將士愈饒樂，爭求從軍”。這固然調動了湖南農民，尤其紳士、生的從軍積極性，但同時也為日後籌餉帶來困難。為解決這個矛盾，湘軍采取發半餉的辦法，一般隻發五成餉，欠餉數月以至半年成為普遍現象，久而久之，形成風氣，士兵亦習以為常。為防止士兵離營，甚至有意拖欠軍餉，或扣下大部分餉銀存入公所，等士卒遣散或假歸時進行核算，酌發部分現銀以充川資，其餘部分由糧台發一印票，至湖南後路糧台付清。若士兵擅自離營，欠餉、存餉即被沒收，不再發給。這樣，士兵苦無川資，又戀於餉銀，也就不會輕易離營了。同時，士兵一旦假歸或遣散回家，就能領到一大筆銀兩，對未曾應募入伍的人也可以產生巨大的**力。這樣，曾國藩就達到了一箭三雕的目的：既減輕了籌餉的困難，又防止了士兵的逃跑，還能引誘大批農民和書生踴躍應募。
湘軍分為水、陸兩部。陸師的建立最早應從鹹豐三年算起。這年夏天曾國藩同江忠源商定練勇萬人的計劃，初步確定了湘軍的規模。曾國藩打算編練成軍之後，概交江忠源指揮，以為鎮壓太平天國革命的軍事資本。這年秋天，又奉創辦水師之命，遂改原定集練陸師萬人的計劃為水、陸各五千人，營製亦改為每營五百人。然而這時湘軍陸師的實際人數已大大超過五千人，因而不得不對現有各營進行縮編。曾國藩提出，鄒壽章、周鳳山、儲玫躬、曾國葆和新化勇各為一營五百人不變，塔齊布、羅澤南各將兩營七百人縮編為一營五百人，王錱六營約二千二百人縮編為三營一千五百人，其餘遣散。王錱不服，認為這是曾國藩借故打擊自己，並訴之於駱秉章。駱秉章認為王錱所募新勇可用，無須遣散。從此王錱率營脫離曾國藩，投靠駱秉章的門下。又因羅澤南年歲(四十六歲)較大，不願再次遠征，而湘南地區仍有天地會的活動，亦須留有一定兵力，遂將羅澤南部湘軍留駐衡州。這樣，隨同曾國藩出征的陸師就僅有六營三千人了。恰在這時，平江知縣林源恩投書曾國藩，願充一營官。曾國藩令其募平江勇五百，編為一營；另外又令朱孫詒、鄒世琦、楊名聲各募一營，湊成十營五千人之數，使湘軍陸師初具規模。
湘軍水師的籌建晚於陸師，它是在曾國藩移駐衡州後開始的。