長沙整軍後，曾國藩信心十足，準備向新敗的太平軍西征軍發動攻擊。西征軍曾天養部聞湘潭大敗，恐湘軍乘機進攻被太平軍占領的沿江諸城，乃由宜昌東進，經澧州、安福，收集湘潭潰軍。林紹璋敗後，經靖港、嶽州，亦收羅殘軍，向西進的曾天養靠攏。行至常德，聞曾天養已東進來援，遂留駐常德。不久，兩軍會合，一起轉回嶽州，高壘深壕，準備與湘軍決戰。
曾國藩聞知太平軍在嶽州加強了防務，先命塔齊布7000人馬迅速趕至嶽州城下，讓羅澤南、周鳳山率軍為後援。鹹豐四年六月三十日(1854年7月24日)，兩軍會戰，太平軍失利，連夜棄嶽州退守城陵磯。
城陵磯是長江通洞庭的一個極險要的軍事要塞，易守難攻。太平軍占領城陵磯，湘軍幾攻未下。七月十六日(8月9日)，湘軍水師褚汝航、夏鑾、清軍登州鎮總兵陳輝龍、遊擊沙鎮邦等飛舟順水乘風攻至城陵磯，江風呼嘯，清軍水師突入太平軍的防守圈內。太平軍奮勇衝殺，湘軍水師指揮失靈，進退兩難，被動挨打。結果，湘軍慘敗，褚汝航、陳輝龍、沙鎮邦、夏鑾4人皆被打死，水師喪失大半，戰船數十隻或沉或降。後隊楊載福趕來，水師已潰不能戰，隻得退回嶽州。
七月十八日(8月11日)，湘軍陸師塔齊布進攻城陵磯，曾天養率軍抵抗，兩軍展開前所未有的惡戰。塔齊布與曾天養都是兩軍中的善戰拔尖人物，他們指揮的軍隊都不怕死，兩軍殊死衝殺，各不相讓。惡戰之中，曾天養與塔齊布突然相遇，他拍馬挺槍與之交戰，塔齊布毫不示弱，二人馬去槍還，猶如古戰場上的兩員猛將，殺得兩邊兵將直了眼。
曾天養在太平軍中，威名赫赫，他是廣西壯族人，參軍時已五十餘歲，驍勇異常，屢戰皆捷，被譽為“飛將軍”。所部稱“虎頭軍”，因功封為秋官正丞相，為太平軍西征軍主要將領。西征以來，率兵攻克江西南昌、豐城、瑞州、饒州、樂平、景德，安徽東流、建德、集賢、桐城、舒城，在廬州擊斃江忠源；轉戰湖北，克黃州，破吳鎔部，又連克漢口、漢陽，取孝感、雲夢、德安、隨州、安陸、宜昌；繼援湖南，克澧州、常德。曾天養有勇有謀，雖年已六十，但每戰必身先士卒，武藝精湛，無人能敵。
然而，城陵磯之戰，遇上塔齊布，也算碰上了強敵。塔齊布是湘軍第一員猛將，善於騎戰，精於馬術，他是滿洲鑲黃旗人，依然保持著入關時那種剽悍的氣質。
二人激戰多時不分勝敗。曾天養怒睜豹眼，越戰越勇，突然一矛刺中塔齊布戰馬，一個顛撲，塔齊布幾乎摔下馬來。塔之親兵在同一瞬間，從曾天養背後猛刺一槍，曾天養猛一回馬，其坐騎即被刺中，馬蹶人倒，被塔齊布挺矛刺中，壯烈犧牲。
曾天養的犧牲，是太平天國的重大損失，西征軍聞知皆痛哭失聲，為之“茹齋六日”，洪秀全追封他為烈王。城陵磯主將犧牲，頓失鬥誌，隻好敗退武昌。
城陵磯戰後，曾國藩指揮水陸並進。水師連陷嘉魚、金口，湘軍將士揚眉吐氣，逢陣皆露立船頭，不披甲胄，不避槍彈，一路殺來，直達武昌城南數十裏下泊。陸師從嶽州出發，經蒲圻、鹹寧、山坡、紙坊，直達洪山一帶。
水師達金口時，曾國藩召集眾將，議攻城之策。羅澤南提出，陸路分兵兩路，一路攻洪山；一路攻花園。他說，花園的太平軍有精兵兩萬，設有三座大營，若攻其洪山，花園太平軍必起而援助，羅澤南自任前鋒，先攻花園，餘兵扼堵洪山，協其攻克花園，武昌即成為孤城。曾國藩同意了他的計劃。
鹹豐四年八月二十一日(1854年10月12日)，羅澤南揮軍進攻花園，太平軍憑借臨時搭起的木城，架炮轟擊，羅軍伏地前進，待攻至木城前，太平軍竟潰亂而逃。羅軍乘勢奪取了數十條大船，連續攻克了三座大營，兩萬太平軍幾乎不戰而潰，第二天，繼攻鯰魚套，經過小戰，也輕易取得。花園太平軍潰敗，塔齊布率軍攻洪山，洪山守軍堅決抵抗。得知花園潰敗，此路太平軍知不能守，也紛紛退避。塔齊布下令攻擊，太平軍多跳湖奔逃，降者千餘，洪山亦克。
湘軍兵臨武昌城下。
太平軍武昌守將為黃再興、石鳳魁、韋以德等人，或則員，或則國宗，皆不習戰事。當曾天養犧牲，湘軍水陸北上達金口時，國宗韋以德首先逃離武昌。太平軍在武昌城的守衛部隊尚有千餘戰船，陸師萬人以上。但黃、石等人無指揮之才，官兵也悲觀失望，在太平軍失陷花園、洪山的第二天夜裏，便棄城逃走。長江上遊最重要的重鎮武漢，就這樣輕易地丟給了湘軍。
石鳳魁等人是在少量守護部隊的保護下私逃的，漢水裏的大批船隻、數千水軍及城裏的守衛部隊皆未得到撤退的消息。天一亮時，湘軍攻城，城裏的守將早已逃跑，守軍大亂。湘軍登上城牆，打開城門，一捅而入。
凶猛的湘軍逢人便殺，太平軍屍橫滿街，血水成河。被禁閉在漢水裏的船隊遭到湘軍的猛烈射擊，或被射殺，或被趕入水中淹死，水師受到毀滅性打擊。
曾國藩於當日在諸將官的擁護下進入昌門，見到這湖廣第一名城已為自己收複，心裏感慨萬端。
武昌被攻占的第七天，湖廣總督楊霈向鹹豐報捷。又過了6天，曾國藩才詳細地向鹹豐奏報了湘軍進攻花園、洪山及攻克武昌的戰況。
鹹豐聞報，高興得比曾國藩還要厲害。他簡直不敢相信曾國藩一個員，率領編練不足一年的湘軍，竟把武漢攻克，收複兩湖大部失地。看過奏報，立即下旨，任命曾國藩為湖北巡撫。他興高采烈地向大臣們說：“不意曾國藩一書生，乃能建此奇功！”還在諭旨中表示：“獲此大勝，殊非意料所及。朕惟兢業自持，叩天速赦民劫也。”
隨後，又下旨封賞湘軍將領。胡林翼升為湖北按察使，羅澤南為浙江寧紹台道，彭玉麟為廣東惠潮嘉道，楊載福擢常德協副將，鮑超升為參將，李元度、李續賓、郭嵩燾、劉蓉、陳士傑等人都有升遷。
正當大家興高采烈，喜慶榮升之時，又一道上諭弄得眾人暈頭轉向。在收到授曾國藩署理湖北巡撫的第七天，曾國藩跪聽的又一個上諭是：“曾國藩著賞給兵部侍郎銜，辦理軍務。毋庸署理湖北巡撫。陶恩培著補授湖北巡撫，未到任之前，湖北巡撫著楊霈兼署。曾國藩、塔齊布立即整師東下，不得延誤。”鹹豐帝還在曾國藩的奏折上批道：“朕料汝必辭，又念及整師東下，署撫空有其名，故已降旨令汝毋庸署理湖北巡撫，賞給兵部侍郎銜。”還怪曾國藩的奏折不署加封的官銜(即署湖北巡撫銜)，故說是“違旨之罪甚大，著嚴行申飭。”
上諭改變了初衷，收回署理湖北巡撫的旨意。曾國藩本來就是侍郎，上諭又說“賞給”，純是空頭人情，曾國藩的官職丁點未動，還落得個“嚴行申飭”。更讓曾國藩惱怒的是，署理湖廣總督楊霈未有寸功，卻因武昌收複而實授總督，一直與曾國藩作對、反對編練湘軍的原湖南按察使、新授江蘇布政使陶恩培竟實授了湖北巡撫之職。
是何原因?上諭解釋，因曾國藩立即要率師東下，“署撫空有其名”。然而，當時清軍、湘軍中的授銜，哪個不是“空有其名”呢?所以，還是令人費解。究其原因，鹹豐帝是在遵奉大清祖訓，即不肯把地方督撫大權交給手握兵權的漢人控製。此後，曾國藩率軍艱苦奮鬥，仗越打越大，聲名越來越高，清政府對他也越來越不放心。使他在若幹年內，處於客軍虛懸之地；以後雖授以地方大員之位，仍是不斷發生齟齬，對他遊移不定，甚或加以打擊，使曾國藩左右為難，進退維穀，甚是尷尬。
曾國藩攻取武昌後向鹹豐皇帝奏報了下一步的作戰計劃，即采取穩紮穩打、步步為營的推進方略，先經營湖北，再以兩湖為基地，進取江西、安徽，步步逼向太平天國的大本營南京。眼前需要休整部隊、補充兵員、調集糧餉，作好再度戰鬥準備。曾國藩提出，太平軍的主要兵力部署於長江兩岸，實力並未根本喪失，湘軍雖取得武昌城，若全軍東下，失去後方供應，必然陷入困境，造成難以估計的後果。但是，鹹豐皇帝卻拒絕接受曾國藩的正確意見，下旨令湘軍立即東下，曾國藩不敢違旨，隻得提兵東下，果然陷入了軍事困境，幾乎全軍覆沒。隻是在東進的第一仗田家鎮一戰再次取得勝利。
當武昌失守消息傳至天京(即南京)，使太平天國領導人洪秀全、楊秀清等甚為震動，送下令鎖拿黃再興、石鳳魁，押回天京。令燕王秦日綱前往田家鎮布防，迎擊湘軍的東進。
秦日綱率領3萬人馬西上，行至湖北蘄州，召集各地的軍隊和自武昌敗退的軍隊。不久，石祥禎、韋俊、林紹璋、石鎮侖、周國虞等部皆到達蘄州。武昌敗退的軍隊，也陸續到達萬餘人。秦日綱在蘄州召開軍事會議，商量戰守事宜。大家都認為，湘軍占武昌，勢必東進，犯天京。但湘軍水陸充其量不過3萬人，而且連連戰鬥，未得休整；太平軍目前集於蘄州者已過5萬人；從蘄州至武穴，關隘甚多，充分加以利用，正是殲滅湘軍的大好時機。
韋俊、周國虞等進一步提出：蘄州、武穴之間有一險鎮名曰田家鎮，位於長江北岸，隔江相對的是半壁山。此處江流湍急，地勢險要，在此布置人馬，是殲擊湘軍的好去處。最後，秦日綱決定讓檢點陳玉成率軍駐守蘄州，其他諸軍全部駐守田家鎮，準備在此全殲湘軍。
正如太平軍諸將所分析的那樣，田家鎮的確是武昌以東的軍事重鎮。該鎮是一個有5000人口的大集鎮，商賈繁盛。對岸的半壁山，孤峰雄立在大江南岸。山下一條大道，通往瑞昌；山南麓有一條發源於幕阜山，流經通山、興國的富水，在此注入長江。入江之處是富池鎮，下走30裏，便是武穴。鹹豐三年一月(1853年2月)，太平軍在此大敗兩江總督陸建瀛，如今主客易位，太平軍要在此阻擊湘軍。
秦日綱率領4萬人馬趕至田家鎮，偵察之後分兵兩處。秦日綱、石祥禎率兩萬人馬駐守田家鎮，韋俊、石鎮侖、周國虞等率兩萬人馬守衛半壁山。
韋俊等來至半壁山，對防守進行了精心安排。韋俊、周國虞等將領皆非泛泛之輩，韋俊是北王韋昌輝之弟，又名韋誌俊、韋十二，年方28歲。太平軍起義初，隨兄起義。他雖是國宗，但學問、見識都很高，打起仗來也頗英勇、果敢。自起義以來，參加了許多次惡戰，表現突出，戰功卓著。湘軍成軍後，與之進行了幾次戰鬥，知湘軍非綠營軍可比；曾國藩等將領也非一般清朝官吏，對他們不能掉以輕心。這次作戰，他是半壁山兩萬兵馬的主將。他讓石鎮侖率軍8000人至半壁山腳安營，林紹璋率5000人駐守富池鎮，周國虞率6000水軍扼守江麵，自己率其餘兵馬紮營半山腰，總領半壁山戰場。他向部隊下了死命令：掐死湘軍水陸去路，絕不許後退。
韋俊、周國虞等還怕擋不住湘軍水師，提出可在江麵上設一道攔江鐵鎖，以阻湘軍的戰船。他們也知當年東吳阻擋晉軍、後晉阻擋後漢，都用過鐵鎖擋江之法。然而，鐵鎖如何架法?為什麽當年吳、晉的鐵鎖又未鎖住大江?唐代大詩人劉禹錫《西塞山懷古》，悼念當年吳國在田家鎮的上遊黃石設攔江鐵鎖，還是被晉國大將王浚打破，落得“千尋鐵鎖沉江底，一片降幡出石頭”。最後大家認為，戰守之具全在運用，沒置攔江鐵鎖，用以阻擋湘軍水師，絕不會出現“金陵王氣黯然收”的那種下場。
太平軍裏有的是鐵匠、木匠，周國虞等人找他們來一同商量。大家七嘴八舌做出了決定：做成6根大鐵鎖，南拴半壁山，北係田家鎮，橫截大江江麵。鎖下每隔10丈安一隻大船，首尾以大錨固定，鐵鎖也固定在船上。每隔3隻大船再設一個大木排，承受鐵鎖的壓力。按此計議，周國虞布置鐵匠打鎖、木工造排，10天以後半壁山6道攔江大鎖造成，像6根玉帶，捆住了滔滔大江。
北岸田家鎮的布防與南岸半壁山大體一致。
鹹豐四年九月十三日(1854年11月3日)，湘軍水陸從武漢出發，分兵3路東進。湖北軍在固原提督桂明的率領下，沿江北岸推進，為第一路；湘軍水師順流而下為第二路；湘軍陸師沿南岸前進為第三路。湘軍陸師離開武漢後又分為兩支：塔齊布一軍經武昌縣進攻大冶，羅澤南一軍經金牛堡進攻興國，兩地取勝後，合軍進攻半壁山。
曾國藩親自指揮水師沿江東下，經葛店、黃州，於第三天到達道土洑。接到前軍探馬報告：前站是蘄州，有太平軍陳玉成守衛，水陸號稱萬人，主要是陸師，僅少量水師。湘軍前鋒塔齊布現達金牛鎮，聽候進軍命令。
曾國藩與彭玉麟、楊載福、劉蓉、郭嵩燾等研究之後，下令塔齊布與羅澤南分別進攻大冶和興國，引誘陳玉成援救，水師趁機衝過蘄州。
塔、羅兩軍接到戰令，立即向大冶和興國發動進攻。陳玉成果然親率4000人馬援救興國與大冶，而塔、羅兵進神速，不待陳玉成趕到，已分別攻下兩地，合軍向半壁山前進。
曾國藩知陳玉成率兵援救興國與大冶而去，先是企圖一舉攻下蘄州城，結果進攻幾次皆未成功，遂改變策略，采取越寨攻敵之策，舍棄蘄州而不攻，順流直駛田家鎮。楊載福的先鋒營首先到達田家鎮，猛然看到江麵上有黑黝黝的6根大鐵鎖攔在江麵上，鐵鎖後麵布置著太平軍的水師。楊載福明知鐵鎖難過，急令後撤，太平軍水師大炮齊轟，幾條戰船被打傷，許多湘軍士兵落入江中。
曾國藩也無過鎖之策。他發出命令，先讓陸師進攻半壁山，或能奪得半壁山，從岸上除掉鐵鎖，水軍開炮，為陸軍助戰。
羅、塔兩軍依令分別攻打半壁山和富池陣。太平軍依險頑強抵抗，湘軍先有武昌之勝，打起仗來也格外勇敢。經一天激戰，雙方死傷很重，羅軍方攻下山腳的營盤，太平軍退回山上。塔軍經兩天激戰，攻下富池鎮。第二天，秦日綱、韋俊親自指揮，反攻湘軍，血戰竟日，太平軍大敗，退回對麵的田家鎮，半壁山戰鬥結束，這天是十月初七日(11月26日)。
這時，湘軍水師也部署了破壞江上鐵索的計劃。彭玉麟、楊載福指揮戰船，集中火力轟擊太平軍的江麵水師，同時轟擊鐵鎖下的船隻和木排。在強大火力的掩護下，湘軍駛出一隊船隻，分別駛至鐵鎖之下，以巨鍋盛滿油脂，置於船上，將大鐵鎖燒紅，用巨斧砍斷。
太平軍見湘軍欲斷鐵鎖，水陸兩軍同時出戰，拚命阻擋。戰鬥在江麵和兩岸同時進行，異常激烈。燒鎖的湘軍船隻多次被炮火擊中，巨鍋裏的沸油燒著了戰船，另一隻燃油的戰船再衝上去，繼續燒鎖。
此時，占領半壁山的湘軍，利用山上大炮轟擊江麵上的太平軍水師。
十月十三日(12月2日)，攔江鐵鎖被焚斷，湘軍水師攻過田家鎮，沿江焚燒太平軍的戰船，被毀達4500餘隻，長江江麵，一片火海。太平軍西征的戰船不下萬艘，經湘潭、嶽州、武漢、田家鎮幾戰，九江以上的戰船蕩然無存，水師大體瓦解。
田家鎮一戰，太平軍水陸大敗，傷亡巨大。於十月十三日(2月3日)退向黃梅。十四日(4日)，蘄州守軍也敗退廣濟。湘軍陸師尾追至黃梅與廣濟之間的雙城驛，兩軍再次交鋒，太平軍再敗，退向九江。
湘軍在田家鎮戰役中雖然取得勝利，但傷亡也很重。戰後，曾國藩集中部隊在田家鎮休整，向鹹豐報捷，為部下討封賞，為陣亡官兵請恤。曾國藩深知優恤死者，可以激勵生者，在田家鎮建立“昭忠祠堂”，供奉哨官以上的軍官，犧牲勇丁，也都刻碑紀念。八個紀念石碑密密麻麻地寫滿了犧牲者的姓名。祠堂落成，曾國藩率全體軍官，向死者亡靈行祭；曾國藩為死者親題挽聯：“巨石咽江聲，長鳴今古英雄恨；崇祠彰戰績，永奠湖湘子弟魂。”左右燃起紙香，曾國藩誦讀祭，先是嗚咽，再是泣涕，最後竟放聲大哭。他充滿感情地哭訴：“自軍興以來，從未有此次喪師之慘者!”湘軍水陸全體將官皆為之感泣落淚。
田家鎮失利的消息傳到天京，楊秀清急令在皖南作戰的翼王石達開、在江西饒州的冬官正丞相羅大綱星夜輕騎赴援。
石達開是威震敵膽的太平軍名將，武兼備。他聞田家鎮失利，立即率5000勁旅，日夜兼程，趕赴增援，成為太平軍西征軍的主帥。
羅大綱也是太平天國著名驍將，手工工人出身，10年前就是廣西天地會首領之一，長期進行反清武裝鬥爭。太平天國起義時，率天地會加入起義隊伍，從廣西到南京的征戰中，一直是先鋒營指揮官，率軍首先攻入永安州、全州、嶽州等城鎮，功勞卓著。定都之後，與吳如孝一軍聯合攻占鎮江。太平天國西征，命為主將之一，率軍轉戰皖南、江西一帶。他的部隊敢打敢拚、軍紀嚴明，在太平軍中威信極高。這次赴援，率領萬餘精銳趕往前線。
當他們在九江會師時，黃梅已失守，大批太平軍正在潰敗後撤。湘軍仍在潰軍之後窮追。羅大綱首先率軍攔住潰軍，在孔壟驛一帶與追兵激戰，阻住了湘軍的攻勢。而後退軍九江、湖口兩城。
湘軍陸師隨後追殺，於鹹豐四年十一月十五日(1855年1月3日)攻占小池口，十一月二十一日(1月9日)渡長江，二十五日(13日)紮營九江大東門外的四裏坡。湘軍水師也順流攻到九江之側的江麵上，與陸師合圍九江城。湖廣清軍副將王國才率領4000人馬駐紮黃梅，按察使胡林翼率軍2000人由鹹寧東出瑞州，進攻九江之背。諸軍合在一起約26000餘人，統歸曾國藩指揮。
守衛九江的將領也是太平天國著名驍將林啟榮，他三十餘歲，是金田起義的老兄弟，在東王楊秀清的直屬部隊先鋒營。作戰英勇頑強，勇冠三軍。西征開始，他也是楊秀清親點的主將之一。
石達開一進九江城，即招集羅大綱、林啟榮等諸將研究如何對付湘軍的攻擊。林啟榮占領九江已兩年，他對九江的防衛很有信心，提出太平軍合軍5萬人，對付遠道而來的湘軍兩萬多人，可采取以守為攻，以逸待勞的辦法。待湘軍兵疲師老，可合軍殲之，不可立即決戰。石達開同意林啟榮以守為攻的戰略，但他強調要守中有攻，不斷利用機會，打擊來犯的驕兵驕將。石達開命令：林啟榮以守九江城為主，羅大綱守衛湖口西岸的梅花洲，自己守湖口城，三軍互為犄角，配合作戰。
正如石達開等人估計的那樣，湘軍連戰連勝，尤其是武昌、田家鎮之戰後，太平軍節節敗退，勢如潰堤，更平增了湘軍的輕敵思想。湘軍水陸攻至九江城下，曾國藩在座船上召開會議，研究進攻方案。他對九江的地形及林啟榮、石達開的軍勢能力是有一定了解的。會上他提出，九江北枕大江，南控鄱陽湖，周圍山水縱橫，形勢險要，各要地皆有“長毛”水陸把守。林啟榮在此經營兩年，絕非泛泛之城可比。現在又有翼王石達開坐鎮，據說此人武兼備，是“粵匪”中的頂尖人物，非尋常草寇可比。
但是，塔、羅、彭、楊等人皆認為綠營軍與“長毛”作戰，不是失敗於敵人多麽厲害，而是敗在自己的**無能。自與湘軍作戰以來，未見“長毛”有多麽厲害。所以，都摩拳擦掌，打算一鼓作氣，攻下九江。於是決定塔齊布、羅澤南、鮑超、李續賓、彭玉麟、楊載福、李孟群等各領水陸大隊，分兵攻打九江的四門，一舉攻克。
然而，當四路人馬向九江城前進時，卻不見城上有太平軍一兵一卒。當湘軍挨近城邊，“則旗舉炮發，環城數千堞，旗幟皆立如林”。太平軍憑借林啟榮兩年來修建的堡壘和配置的火力，懷著滿腔複仇的怒火，向湘軍猛烈轟擊，殺得湘軍人仰馬翻，卷旗逃命。塔、羅等將企圖製止湘勇敗退，但看到城上火力甚猛，白白傷亡人馬，隻得帶著潰兵回至營地。
曾國藩、羅澤南、彭玉麟等人與石達開、林啟榮經過這次交戰，方知石、林確非泛泛之將，知硬拚硬打不能奏效，乃另謀善策。他們決定先在九江上遊的竹林店休整，之後由塔齊布率軍繼續攻城，牽製九江兵力，由羅澤南率軍繞過九江，攻取湖口，彭玉麟與胡林翼合力進攻梅家洲。如此分兵攻擊，使太平軍窮於應付，若有一處得勝，則可打開一個突破門。
石達開與羅大綱等立於九江城頭，見湘軍退走，幾天不再進攻，料定曾國藩必然另有所圖，遂命各軍密切注意。他估計湘軍攻不下九江，將會轉攻其他要地，便親率小股部隊，到上遊各要處查看防衛情況。先乘夜至九江下遊50裏的湖口視察，接著又到了對麵江心的梅家洲。
視察之後，便命令羅大綱率領l萬人馬開赴梅家洲，並立即在洲上築壘架炮，封鎖江麵，準備迎擊湘軍的水師進攻。讓林啟榮加強九江城防，堅守城壘，不要出城作戰，利用槍炮火器打擊攻城的湘軍。自己親率1萬陸師和數百戰船，趕赴湖口。
太平軍分兵防守布置完畢，湘軍分兵攻擊的計劃也開始實施。他們沒有料到，九江城裏的石達開與羅大綱已經在湖口和梅家洲張網等著捕魚了。羅澤南求勝心切，催兵趕至湖口，湖口縣城一片寂靜。湘軍貿然衝向城廂，大軍到了護城壕畔時，城頭上萬槍齊發，打得湘軍像秋風掃落葉，一片片倒下，餘者伏地還擊，戰鬥不到半個時辰，便不支潰退下來。羅澤南心急如焚，催馬督軍再戰，石達開命令大開城門，出動兩支人馬，迎擊羅部。湘軍自出師以來，第一次碰上太平軍如此猛烈的進攻，一觸即潰，退至江邊。
進攻梅家洲的彭玉麟水師，也陷入了羅大綱布置的火力網中。洲頭有戰船架炮攔擊，洲上是數百門大炮封鎖，湘軍水師一下子被打得隊形散亂，船翻人亡。自率軍以來，彭玉麟沒打過敗仗，這次梅家洲的失敗卻是極慘。他的水師前進不能，後退又遭洲尾巨炮的堵擊，首尾難顧，進退兩難。經過左衝右突，丟下大批船隻武器，付出很大代價，才突出封鎖，逃離戰場。
攻擊九江城的塔齊布一軍自然更是無能為力了，隻能丟下大量屍體，無功而退。
石達開打擊了湘軍的銳氣之後，進而謀劃破敵良策。他向眾將分析：我們以險阻擊湘軍，已收成效，但要想破敵，就得出擊，而打出城池與曾妖硬拚並無把握。湘軍水師強大，我軍戰船數量不多，裝備也遠遜於彼。欲破湘軍，必先敗其水師；而破其水師，隻能智取。
諸將向石達開詢問智取之計。石達開說，曾妖頭的水師船隻有長龍、快蟹、舢板三種，長龍與快蟹都是大船，行動緩慢，不利於前鋒戰鬥，而利於指揮、運兵、運械；舢板行動輕捷，利於戰鬥。二者相互配合，取長補短，相得益彰，過去的幾仗，皆仗大小船隻的配合而取勝。今天我們用計讓二者分開，使其分則兩敗，才是破敵良策。
諸將又問如何方能使之大小戰船分開。石達開說，用計之事，我來布置。但自此之後，九江、湖口、梅家洲各軍隻許堅守，湘軍來攻，一概置之不理，聽我用計安排。
曾國藩幾番進攻，皆遭挫敗。休整了兩日，不見敵軍動靜。於是，再令各路出擊。諸軍因有前番的教訓，隻是遠遠地開槍開炮，不敢再涉險境。即使如此，九江等城，亦不見太平軍的任何反映，連冷槍也不打一發。各路軍馬折騰了兩天，疲憊地返回營地。入夜正要休息，湘軍水師的宿營江麵，突然槍炮齊鳴，並有無數小船衝入江中，把火箭、火球射向湘軍水師船上。湘軍水師欲戰無從戰，欲睡無法睡。連續幾夜，弄得湘軍驚恐不安，將帥們心焦氣躁。
石達開見時機成熟，便開始用計。
鹹豐四年十二月十二日(1855年1月29日)，一串40餘隻的太平軍船隊突然出現在江麵上，這個情況被湘軍斥候看在眼裏，報告給曾國藩。曾國藩立即與諸將商量對策，按照常規，湘軍水師遠勝太平軍水師多倍，他們不敢出動40餘船在長江上行動，既然行動，必有原因，曾國藩本應小心對付。但逢湘軍既驕又躁之時，也不做深入推想，反正明明是石達開的船隊，出來了就得打。曾國藩也認為再無攻敵良策，不能失此機會，便命蕭捷三等率舢板120餘隻攻擊太平軍船隊。
蕭捷三又氣又急，想衝上敵船消除連日的躁氣，命令湘勇快速追趕。太平軍的船隊都是輕便小船，見湘軍大隊來攻，也拚命前駛。雙方你逃我趕，比賽速度，轉眼劃至湖口。眼看就要追上，蕭捷三正準備命令前鋒開炮，隻見太平軍船隊向右一轉，一齊向鄱陽湖駛去。蕭捷三仗著自己的船多，不假思索，也指揮水師進了鄱陽湖。誰知湖口外連長江、內接鄱陽湖，是500裏湖水的進出口，口子極窄，如同一個大肚口袋的袋口。
雙方船隊進入鄱陽湖後，太平軍立即封住湖口水卡，修上工事，安裝大炮，將其死死地鎖在湖內。從此，湘軍水師被肢解為外江和內湖兩部分。留在長江水麵的全是長龍和快蟹大船，失去快船的護衛，完全陷入被動挨打的境地。
曾國藩等到傍晚不見蕭捷三的消息，正在焦急，突然有大隊太平軍船隻向湘軍水師攻來。湘軍的大船離開了舢板，猶如鷹隼失去了翅膀，在敵船的進攻中，隻能笨拙地移動。太平軍輕便的小船在湘軍的大船夾縫中，穿梭般劃來劃去，投出串串火把、火球，不一時便燒毀湘軍大號船9隻、中號船30餘隻。曾國藩，彭玉麟仗著大船炮火猛烈，打得太平軍快船無法靠近，才免遭滅頂之災。
太平軍船隊勝利撤走後，曾國藩急忙調回在武穴養病的楊載福，又調回羅澤南、胡林翼各部，集中力量，再攻九江。就在羅澤南回九江的當天夜裏，即鹹豐四年十二月二十五日(1855年2月1日)夜間，太平軍對停靠在靖港內的湘軍水師發動了更大規模的進攻。石達開命數十隻小船滿載各種火器進入江內，鑽入湘軍船隊中間放火延燒。時人有筆記記載當時的戰況說：
其日，長沙惴惴居賊中，人自以為必敗。國藩集謀攻守，皆曰入城坐困，宜親督戰。或議先靖港奪寇屯；或曰靖港敗，還城下，死地矣，宜悉兵攻湘潭。不利，保衡州，即(使)省城陷，可再振也。水師十營官皆至，推彭玉麟決所嚮，定湘潭。五營先發，約明日國藩率五營繼之。夜半，長沙鄉團來請師曰：“靖港寇屯中數百人，不虞(防備)我，可驅而走也。團丁特欲借旗鼓以威賊，已作浮橋濟師，機不可失。”聞者皆踴躍。國藩亦憂湘潭久踞，思牽(製)之，改令攻靖港。庚午(四月二日)，平旦至，水急風利，炮船徑逼寇屯，寇炮發，船退不得上，纜而行。寇出小隊斫纜者，水師遂大亂。陸軍至者合團丁攻寇。寇出，團丁遽反奔，官軍亦退，爭浮橋，橋以門扉、床板(搭成)，人多橋壞，死者百餘人。國藩仗劍督退者，立令旗岸上曰：“過旗者斬。”士皆繞從旗旁過，遂大奔。
眼見自己編練的湘勇如此不中用，曾國藩一時激憤，竟欲投水自盡，被悄悄跟隨其後的章壽麟發現救起。章壽麟，字價人，湖南長沙人，時在曾國藩幕府。後曾任安徽補用知府，即補直隸知州。光緒二年秋，章氏還鄉，舟次靖港，望銅官山，感懷舊事，作《銅官感舊圖》，記敘此事曰：
鹹豐四年，賊由武昌上犯嶽州，官軍禦之羊樓司，失利，(太平軍)遂乘勝逼長沙。四月，賊據靖港，而別賊陷寧鄉、湘潭。湘潭，荊南都會，軍實所資。時公(即曾國藩)方被命治軍於湘，乃命水陸諸將複湘潭而自率留守軍擊靖港賊，戰於銅官渚，師敗，公投水。先是，予與今方伯陳公(即陳士傑)、廉訪李公(即李元度)筞：公敗必死。因潛隨公出，居公舟尾而公不知。至是，掖公登小舟逸而免。公怒予曰：子何來?予曰：師無然，湘潭捷矣，來所以報公也。已而湘潭果大捷，靖港賊遁去。公收餘眾，師複振。
另一當事人李元度(即上所提及的李廉訪，廉訪，為清代按察使之別稱)，所敘經過更為詳盡：
靖港者，資水入湘之口，距會城(即省會長沙)六十裏，為一都會地。有銅官山，六朝置銅官於此，因此稱銅官渚者也。時賊帆遍布，遊弋逼會城。正(即曾國藩，正為其諡號，用作尊稱)憤甚，親率留守之水陸營進剿。餘亟止之曰：兵之精者，已調剿湘潭，早晚捷音必至。此間但宜堅守勿輕動，正不許。餘與陳公及價人並請從行，亦不許。瀕行以遺疏稿暨遺囑二千餘言密授餘曰：我死，子以遺疏上巡撫，乞代陳，遺囑以授弟，挈營中軍械輜重，船百餘艘，子且善護之。四月朔，舟發。陳公固請從，峻拒之。餘與陳公謀，令價人潛從於後艙備緩急，正不知也。明日戰，鄉團勇先潰。陸軍隨之，所結浮梁斷，溺斃二百有奇。水師中賊(埋)伏亦潰，賊艘直犯帥舟，矢可及也。正憤極投水，將沒頂矣，材官傔力挽。正大罵，須髯翕張。眾不敢違，將釋手矣。價人自後艙突出，力援以上。正瞠視曰：爾胡在此?價人曰：湘潭大捷，某來走告，蓋權辭以慰公也。乃挾登漁艇。南風作，逆流不得上。賴劉君國斌力挽以免。明午抵長沙。正衣濕衣，蓬首跣足，勸之食，不食，乃移居城南妙高峰。再草遺囑處分後事，將以異日自栽。遲明，捷報至，官軍報湘潭燔賊船數千，殄滅無遺種，靖港賊亦遁。正笑曰：死生蓋有命哉!乃重整水陸軍，未十年，牛蕆大勳。
從李元度敘述的情況看，曾國藩之所以投水，是因為太平軍直逼其座舟，他擔心被俘受辱而試圖自盡。但從事先便將遺疏與遺囑交待給李看，則曾國藩早有不成功便成仁的思想準備。四月十二日，湖南巡撫駱秉章領銜會奏湘潭水陸會戰大捷時，強調了靖港失利的氣候因素，為他做了開脫。但羞恥心極強、責任心極重的曾國藩不肯，又單獨上了一份請罪折，並附有遺折，仍打算以死謝罪，請罪折從主觀上找敗因。將失利歸咎為自己求勝心切，處置乖謬，具體表現為三點：一、紀綱不密，維係不固，以致潰散；二、輕進求勝，對事出意外的退敗沒有準備；三、明知水勇訓練不足，陸勇臨陣經驗不足，貿然出戰，責任在自己心存僥幸。為此，他實行一貫的精兵原則，毅然裁撤了靖港的潰勇，隻保留了在湘潭經受住戰火考驗的水師五營、陸師三營與駐守平江的湘勇，總計四千餘人，比出征時精簡了一半以上。請罪折最後稱：“微臣自憾虛有討賊之誌，毫無用兵之才，孤憤有餘，智略不足，仰累聖主知人之明，請旨將臣交部從重治罪，以示大公。”並請求朝廷另派大臣統帥湘軍，而自己在朝廷派人接手之前，仍當竭盡血誠，一力經理。若船隻修複，水勇訓練足恃後，“臣必迅速駛赴下遊，不敢株守片刻。”
勝敗者兵家之常事，況且與湘潭大捷相比，靖港的失利隻能算是小敗。曾國藩隻是一丁憂在籍的侍郎，並非有守土之責的封疆大吏，打了敗仗，大不了降級革職，何至於以死謝罪呢?究其原因，不外乎三點。一是失望。一年多來苦心孤詣，試圖練成一支百戰艱難、視死如歸的勁旅，不想一戰即潰，對他是個沉重的精神打擊。二是愧恨。自己不能在籍守製，已是不孝；不懂軍事，卻“輒以討賊自任”，接受力所不能及的使命，致使喪師辱國，“上負聖主重任之意，下負兩湖士民水火倒懸之望”。三是憤懣。靖港之戰，曾國藩帶赴出戰的水陸軍僅一千八百餘人，戰敗後潰散約一半，且有天氣因素，算不上大敗虧輸。但這一敗，省城平時有積怨於他的官紳們卻一哄而起，群起而攻之。曾國藩晚年曾憶及當年在湖南之困境。
起義之初，群疑眾謗。左季高以吾勸陶少雲(即左宗棠之婿)家捐貲緩頰未允，以至仇隙，駱籲門(即駱秉章，字籲門)從而和之。泊舟郭外，駱拜客至臨舟，而惜跬步不見過。藩司陶慶培(後任鄂撫殉難)、臬司徐有壬以吾有靖港之挫，遽詳駱撫請參奏。黃昌岐及吾部下之人出入城門，恒被譙訶，甚至有撻逐者。
自己盡全力於公事，不惜得罪人，但偶有挫敗，卻“為通省官紳所鄙夷”，群起攻訐唾罵之，一憤。他之所以不回省城，而是駐於城外的妙高峰，十有**是激於此憤。老父竹亭公已經65歲，不僅支持他墨絰從戎，而且“日日以家書勉臣盡心王事，無以身家為念。凡貯備幹糧，製造軍械，臣父亦親自經理，今臣曾未出境，自取覆敗，尤大負臣父藎忠之責”。打了敗仗，無顏於父老，二憤。“臣自去歲以來，日夜以討賊為心。曾書檄一道，刊刻張貼。今事無一成，貽笑天下；而臣之心，雖死不甘。”三憤。
曾國藩是位儒者，而儒者心中必有道德之自律，所謂“行己有恥”是也。其私淑之宗師顧亭林亦雲：“人之不廉而至於悖禮犯義，其原皆生於無恥也。故士大夫之無恥，是渭國恥。”上述之失望、愧恨與憤懣，交織糾結而成一種強烈的、揮之不去的羞恥感。“公言古人用兵，先明功罪賞罰，今時事艱難，吾以義聲倡導鄉人，諸君從我於危亡之地，非有所利也，故於法亦有所難施。”曾國藩不忍處置部下，但戰敗的責任仍得有人來負，故在得知湘潭大捷的消息後，他仍不能釋懷，在上折請罪的同時，草擬了兩道遺折，打算一同發往北京，以死謝罪。
那麽為何他又沒死成呢?據左宗棠說，是曾麟書的來信救了他。四月五日，湘軍大勝、克複湘潭的消息傳到長沙，當日早晨，左宗棠出城去看曾國藩，並送交曾父的家信。其信中說：
其晨，餘(左氏自稱)縋城出，省公舟中，(公)則氣息僅屬，所著軍襦沾染泥沙，痕跡猶在。責公事尚可為，速死非義。公嗔目不語，但索口書所存炮械、火藥、丸彈、軍械之數，囑餘代為檢點而已。時太公(指曾父)在家，寓書長沙，飭公有雲：吾兒此出，以殺賊報國，非直(隻)為桑梓也。兵事時有利鈍，出湖南境而戰死，是皆死所(意謂；死在哪裏都是死得其所)；若死於湖南，吾不哭爾也。聞者肅然起敬，而亦見公平素自處之誠。後此沿江而下，破賊所據堅城巨壘，克複金陵，大捷不喜，偶挫不憂，皆此誌也。
父親責之以大義，作為孝子的曾國藩不能不聽從。而接到湘潭大獲全勝的奏報，鹹豐則大喜過望。自與太平軍作戰以來，清軍還從沒有打過一次殲敵兩萬的勝仗，整日處在憂危之中的皇帝，想必精神一振。見到曾氏自請處分，把靖港之敗看很那麽嚴重，鹹豐覺得他未免書呆子氣，便在上諭中挖苦道：“此奏太不明白，豈已昏聵耶?汝罪固大，總須聽朕處分。豈有自定一拿問之罪，殊覺可笑!想汝是時心操如懸旌，漫無定見也。”捷報由巡撫駱秉章領銜，曾國藩與湖南提督鮑起豹會銜，可皇帝心裏清楚，打了勝仗的塔齊布，是曾國藩極力舉薦的將領；獲勝的水師也是曾國藩一手編練而成，沒有曾國藩打底，便不可能有這場大捷。駱秉章、鮑起豹，不過是因人成事而已。尤其是鮑起豹，本為一省最高軍事長官，卻總蹲在省城，從未見到其出城作戰，鹹豐早就對他起了疑心。經過一番查問了解後，皇帝此番賞罰分明，對曾國藩“加恩免其治罪，即行革職，仍趕緊督勇剿賊，戴罪自效”。這個處分很輕，湘軍仍由曾國藩負責，隻要以後打幾次勝仗，很容易官複原職。而鮑起豹“自賊躥湖南以來，並未帶兵出省，疊次奏報軍務，僅止列銜會奏。提督有統轄全省官兵之責，似此株守無能，實屬大負委任。鮑起豹著即革職，所有湖南提督印務，即著塔齊布暫行署理”。鮑氏是實實在在的革職，被他一直視為眼中釘的部下所取代。
靖港之戰使湘軍元氣大傷，尤其是水師幾乎潰不成軍。要想繼續與太平軍作戰，必須重整旗鼓。
水師是湘軍的命脈，在長江流域作戰，攻克南京，撲滅太平軍，沒有強大的水師根本是夢想。所以，曾國藩首先要重振水師。外江水師已被派往援救武漢，留在鄱陽湖內的120多隻快船處境十分困難，曾國藩先要救活湖內水師。他專程跑到南昌，求助於江西巡撫陳啟邁，請求為湖內水師增造長龍大船30號，就地招募水勇、供給餉械。然後又為重整江上水師努力奔走，他上奏鹹豐，請他下旨地方，讓湖南省為他添造戰船，招募水勇。自己派員到湖北新堤、湖南嶽州大力修造戰船。到鹹豐五年四月(1855年5月)，湖南的新船百餘號首先造好，運至金口；九汀江麵上損壞的戰船亦告修複。6月，楊載福在嶽州也造成大批戰船，開赴金口。其規模較原來的大船隊伍還要整齊，力量也大得多。
這期間，江內水師也增加了戰船、解決了供應和軍餉。開赴湖口，攻擊湖卡。7月，湖內水師統領蕭捷三在湖口戰死，曾國藩調彭玉麟從湖北趕往江西。彭玉麟此時正在湖南省親，聞命啟程，扮作商人穿越太平軍控製的地區，步行數百裏趕到江西南康府接任水師統領任。自此以後，湘軍水師正式分為內湖水師和外江水師，分別由彭玉麟和楊載福統帶，成了湘軍水師的定製。
太平軍為適應湘軍的水戰，便在九江設立船廠，製造戰船。至鹹豐六年三月(1856年5月)，製造戰船數百條。曾國藩生怕太平軍水師強大，命令楊載福侍機殲滅之。太平軍水師難抵湘軍外江水師的力量，避而不戰。楊選300死士衝入太平軍水師營中，把他們的船隻全部燒毀，長江水域又全部為湘軍水師控製，曾國藩的努力終於沒有徒勞。
曾國藩恢複陸師的努力就不像整頓水師那麽容易了。
湘軍的陸師主要是塔齊布、羅澤南、李元度幾部。塔部力量最強，增達萬餘人，羅澤南部約是塔部的一半。李元度的力量最弱，隻有4營2000餘人馬，李是曾國藩的幕僚，一身人習氣，治軍不嚴，訓練無方，戰鬥力很差。所以，湘軍陸師勁旅，主要是塔齊布、羅澤南兩部。
湖口戰後，鹹豐帝仍逼令曾國藩圍攻九江，曾國藩便集中塔、羅兩部日夜進攻。豈料林啟榮對九江的守衛十分堅忍，無論曾國藩如何攻打，九江仍堅如磐石，巋然不動。湘軍士卒損傷慘重，一無進展。當此困難之時，羅澤南向曾國藩提出了放棄九江、爭奪武漢的戰略計劃。他認為長江沿岸數城，武漢為首，九江隻是腰部，隻有占據武漢，控製其首，才是奪取長江流域的正確方案。堅持圍攻九江，即使攻取，武漢在太平軍之手，敵人順流而下，終難堅守。
曾國藩認為羅澤南的提議是十分正確的，去年湘軍攻下武漢，鹹豐帝勒令他離武漢而攻下遊九江等城，他給鹹豐的奏折中也是這個意見。可惜鹹豐帝不聽他的主意，造成武漢丟失，進攻九江無功的被動局麵。然而，實際上，他的湘軍隻有塔、羅兩軍，兩軍合起來尚攻不下九江，若羅澤南再離他而去了武漢，湘軍的力量就更孤單了，所以曾國藩沒有放羅澤南去武漢。但是，曾國藩反複考慮，羅澤南的戰略計劃的確重要，羅澤南又反複申請、說明，終於使曾國藩同意他率兵去武漢的請求。正在這時，塔齊布因久攻九江不下，勞累、憂憤於七月十八日(8月30日)嘔血而死。曾國藩太傷心了!這是一個知恩圖報，忠心追隨他的一個一心一意為湘軍建設建功立業的大將，他是湘軍大將中唯一的滿員，正可以作為滿漢聯合，以消除朝野猜忌的典型代表。如今，竟犧牲在戰場上，等於湘軍損折了一個通梁大柱，等於曾國藩折斷了一條大腿。曾國藩怎能不傷心膽裂!他幾天寢食俱廢，在塔齊布的靈前飲泣不止。他為塔齊布寫一挽聯：“大勇卻慈祥，論古略同曹武惠；至誠相許與，有章曾薦郭汾陽。”本來曾國藩建設湘軍，自比郭子儀，匡複清朝，現在他把塔齊布比作郭子儀了。他向鹹豐奏明塔齊布的功勳，鹹豐親旨悼念，照將軍例賜恤，予諡忠武。
塔齊布死後，曾國藩把他的軍隊撥出1500人交羅澤南率領去了武漢。其餘部隊遵照塔齊布的遺囑，交由周鳳山指揮。此後，周鳳山的部隊成了湘軍主力，仍繼續圍攻九江城。
羅澤南則於鹹豐五年九月(1855年10月)從江西南昌府義寧州出發，連下通城、崇陽、蒲圻、鹹寧，11月初攻抵武昌城下。羅澤南的援救武昌，使清政府在武昌的攻戰形勢發生了變化。太平軍再次攻克武昌後，胡林翼被任命為湖北巡撫，這個職位曾授予曾國藩而又被鹹豐收回，這次又授給胡林翼，胡也是漢人，說明鹹豐帝在危急之時不得不放權了。
胡林翼見湘軍主力羅澤南到來，自然如得救星。他主動與羅配合，從不以屬下相待，軍政事務皆與羅誠心相商。即使對羅的部將李續賓、李續宜兄弟也同樣相敬如賓。羅軍到達後，胡林翼把湖北綠營淘汰，以羅軍為骨架，大量向湖南募軍，按曾國藩湘軍的軍事製度進行編練，成為長江上遊的一支極為強大的部隊。
經過此番調整，湘軍的實力更加雄厚了。水師力量的加強是明顯的，陸師力量留在江西由曾國藩直接指揮的部隊比原來減弱了一些，但羅澤南部開赴湖北，胡林翼以這支湘軍為主體不斷擴充，使這支部隊的力量不亞於曾國藩親自指揮的陸師。胡林翼原為曾國藩的部下，他的軍隊主力是曾國藩的部隊，他與曾國藩關係密切，在“中興名將”中地位與曾國藩相埒，被人稱之為“曾胡”。他們的部隊一在長江上遊，一在長江中遊，相互照應，互為犄角，成為太平軍的兩個死對頭。在以後鄂、皖、贛、湘數省的作戰中，曾、胡兩軍相應契合，是太平軍的主要敵人和失敗的主要原因。
自羅澤南率軍赴鄂、塔齊布戰死之後，曾國藩久攻九江不下，是他成軍作戰以後最困難的日子。王闓運的《湘軍誌》記載這一段情景時說：“其在江西時實悲苦，令人泣下。”曾國藩給鹹豐帝上奏中有語：“聞春風之怒號，則寸心欲碎，見賊船之上駛，則繞屋彷徨”，“餘昔久困彭蠡之內，蓋幾幾不能自克”。但是，由於他的堅忍奮鬥，居然扭轉了困局。
他困難的一個方麵是太平軍在江西發動了猛烈攻勢。
石達開留韋俊在武昌據守，與胡林翼、羅澤南周旋；林啟榮在九江城扯住了周鳳山的兵力；他自己則率兵聯絡江西的天地會，開展了淩厲的攻勢。石達開於鹹豐五年十一月(1855年12月)由湖北進攻江西，連克瑞州、臨江、袁州，圍攻吉安。曾國藩見狀隻得放棄圍攻九江，急調周鳳山回援江西。周部撤圍九江，於鹹豐五年十二月(1856年1月)攻占樟樹鎮、新淦。但是，到底是救吉安，還是守武昌，曾國藩舉棋不定，石達開見來援湘軍駐兵樟樹鎮而尚在猶豫，乃下令全力進攻吉安，於鹹豐六年正月二十五日(1856年3月1日)將吉安攻陷。曾國藩此時駐於贛北南康府，聞吉安被攻破，令周鳳山堅守樟樹鎮，認為此處西近瑞(州)、臨(江)，東接撫(州)、建(昌)，為贛江沿岸重鎮，省城南昌的咽喉。石達開兵破吉安，必然北犯省城，占領樟樹鎮，則可以逸待勞，堵擊太平軍。曾國藩為守樟樹鎮，還急令內湖水師彭玉麟率船隊師出青嵐湖，由武陽水過三江口，駛入贛江，南下樟樹鎮，與陸師配合，防守樟樹鎮。
不久，石達開果然率兵由吉安北上進攻樟樹鎮。周鳳山指揮湘軍據城大戰，不敵而棄城逃走，二月十八日(3月24日)樟樹鎮為太平軍占領。曾國藩聞訊，由南康動身去南昌城收拾潰兵。
石達開指揮太平軍在江西奮勇作戰，控製了整個江西的絕大部分地區，江西共計13府，被攻占8府54州縣。曾國藩困守在南昌、南康兩個狹小的地區，被太平軍緊緊封鎖，不僅報不通，連家信都難以通達。秘密化裝潛遞者也多被抓拿，一時被捕殺者達100多人，湘軍被太平軍圍困得“士饑將困，窘若拘囚”。
正在曾國藩岌岌可危之時，楊秀清忽調石達開去天京參加進攻江南大營的戰鬥，才使曾因藩在軍事上稍稍鬆了一口氣。便掙紮著恢複江西的軍事實力，他把樟樹鎮等戰役潰敗的軍隊重新編排，湊成兩支軍隊：一支約3500餘人，由黃虎臣率領；一支僅千餘人的隊伍，由畢金科率領；又讓江西糧道之子鄧輔綸新募2000人馬，與李元度合為一軍。總計軍隊約有萬餘人，但戰鬥力卻較差，尤其缺乏將才。便想把增援武漢的羅澤南調回，趁石達開離開江西的時機，奪回失地，挽回江西的危局。羅澤南接到曾國藩的告急信感到很為難，當時他正擔任爭奪武漢的軍事主力，若撤離武漢，將前功盡棄。他決定加緊攻城，攻下武漢後立即回援江西。
結果，因求功心切，猛打猛衝，被太平軍槍擊頭部，於三月初八日(4月12日)死在軍營。死前，給曾國藩留遺信一紙，哀淒悲涼，追述辦湘軍南北轉戰之苦。進言讓曾國藩重任彭玉麟、楊載福、王錱等人，尤其要起用左宗棠。並進一步介紹胡林翼的大度，一定要同他合為一軍，方能定兩湖大局。遺囑自己死後，其部湘軍由李繼賓統帶，等等。
曾國藩的求援信落到胡林翼手中，恰在此時，曾國華也帶著曾麟書的請求讓胡援助曾國藩。於是，胡林翼便分兵5000讓曾國華統帶，急馳江西。此時，駱秉章也派出劉長佑、蕭啟江5000人馬由萍鄉、萬載入江西，增援曾國藩。曾國荃、王錱又各率數千人馬馳援。這樣一來，江西的湘軍和綠營軍一下子增到數萬人。這些軍隊在江西四處進攻，先後占領瑞州、袁州、臨江、安福等地，湘軍在江西的形勢好轉了。
曾國藩在江西的困餒不止是軍事，更大的苦處是清廷一直對他不放心，怕他的力量太大，尾大不掉。湖北巡撫之職寧給胡林翼，也不肯給他曾國藩，使他率兵三四載一直處於孤懸客處之地位，用兵、用人、用餉無處不難。因此，他常自比於東漢時的楊震，落得個可悲下場。
正因為清政府不肯向他放權，使他在江西最大的痛苦，是處處受到地方官的排擠和刁難。鹹豐五年八月(1855年9月)，曾國藩丁憂服闋，補授了兵部右侍郎，仍沒有欽差之銜，地方官仍是輕視他，他在江西用兵，軍餉要江西地方出，地方官總認為他並非國家正規軍，為湘軍輸餉認為是額外負擔，不肯出餉。曾國藩軍隊缺餉，隻能自己籌措，也受到地方官的抵製。他無能為力，隻好向朋友求助，幸賴劉於淳、甘晉等人主持捐資，支持部分款項，慘淡度日。在籍刑部侍郎黃讚湯。曾捐助曾國藩80餘萬兩，使曾國藩感激萬端，終生念念不忘。
尤其令曾國藩氣憤的是，江西巡撫陳啟邁是他的同鄉，又與曾國藩同做翰林官。湘軍在江西作戰，為陳守土，他應該同舟共濟。但是，他卻處處作對，不僅不合作，不輸餉，連用地方一人也不許。例如：當時江西萬載舉人彭壽頤，在地方自辦團練，對抗太平軍。曾國藩欲調此人入湘軍，陳啟邁不僅沒接受曾國藩的請求，還借口彭壽頤曾不受地方官約束，至衙門鬧事，把他捕拿，投入監獄。
曾國藩甚為惱怒，將陳啟邁的行事為人寫成奏折，狠狠地向鹹豐告了一狀。鹹豐對江西巡撫本來就不滿意，因為江西一省疆土，被太平軍幾乎占光。如今曾國藩告他，便準其所奏，罷了陳啟邁的官。
陳啟邁雖去官，繼任的俊對曾國藩的排擠更甚。不僅不給供餉，還使他的一支湘軍全軍覆沒，害死了他的一員猛將畢金科。
樟樹鎮敗後，湘軍一支由塔齊布的舊部畢金科率帶。畢驍勇異常，率部與太平軍作戰，凶悍無比。但畢軍餉奇缺，軍隊常餓著肚子打仗。鹹豐五年(1855年)底，地方官得到江西巡撫俊的授意，竟以軍餉作誘餌，逼迫畢金科進攻景德鎮。景德鎮是贛、皖、浙三省交通樞紐，太平軍有重兵把守，堡壘堅固。畢金科隻有千餘湘軍，又饑又疲，但是為了得到餉糈，不得不冒險進攻。結果，反複苦鬥，直至全軍覆沒，畢金科也喪命於景德鎮城下。曾國藩對此事耿耿於懷，直到4年以後，曾國藩率部攻陷景德鎮，在畢金科戰死之處立碑紀念，親為撰寫碑，痛悼當年犧牲的這員大將，同時揭露江西官員的排擠、嫉恨，碑十分淒婉、動人。其中有：“內畏媚嫉，外逼強寇，進退靡依，忍尤叢詬”之句，說出了曾國藩在江西幾年的困難處境。值此困難處境，曾國藩曾想要撒手不幹了，他想：這到底是為什麽?自己以一個回籍的官，衝破重重阻礙創辦湘軍，在兩湖、江西苦苦地戰鬥著，打贏了仗是別人的功勞，打敗了仗“幾乎通國不能相容。”自己為國苦戰，要權無權，要糧無糧，處處受到排擠、打擊，被逼自殺就好幾次了。思前想後“遂致浩然不欲複問世事”。由於好友劉蓉等人的百般勸說，他才勉強堅持著。
曾國藩聞知太平軍在嶽州加強了防務，先命塔齊布7000人馬迅速趕至嶽州城下，讓羅澤南、周鳳山率軍為後援。鹹豐四年六月三十日(1854年7月24日)，兩軍會戰，太平軍失利，連夜棄嶽州退守城陵磯。
城陵磯是長江通洞庭的一個極險要的軍事要塞，易守難攻。太平軍占領城陵磯，湘軍幾攻未下。七月十六日(8月9日)，湘軍水師褚汝航、夏鑾、清軍登州鎮總兵陳輝龍、遊擊沙鎮邦等飛舟順水乘風攻至城陵磯，江風呼嘯，清軍水師突入太平軍的防守圈內。太平軍奮勇衝殺，湘軍水師指揮失靈，進退兩難，被動挨打。結果，湘軍慘敗，褚汝航、陳輝龍、沙鎮邦、夏鑾4人皆被打死，水師喪失大半，戰船數十隻或沉或降。後隊楊載福趕來，水師已潰不能戰，隻得退回嶽州。
七月十八日(8月11日)，湘軍陸師塔齊布進攻城陵磯，曾天養率軍抵抗，兩軍展開前所未有的惡戰。塔齊布與曾天養都是兩軍中的善戰拔尖人物，他們指揮的軍隊都不怕死，兩軍殊死衝殺，各不相讓。惡戰之中，曾天養與塔齊布突然相遇，他拍馬挺槍與之交戰，塔齊布毫不示弱，二人馬去槍還，猶如古戰場上的兩員猛將，殺得兩邊兵將直了眼。
曾天養在太平軍中，威名赫赫，他是廣西壯族人，參軍時已五十餘歲，驍勇異常，屢戰皆捷，被譽為“飛將軍”。所部稱“虎頭軍”，因功封為秋官正丞相，為太平軍西征軍主要將領。西征以來，率兵攻克江西南昌、豐城、瑞州、饒州、樂平、景德，安徽東流、建德、集賢、桐城、舒城，在廬州擊斃江忠源；轉戰湖北，克黃州，破吳鎔部，又連克漢口、漢陽，取孝感、雲夢、德安、隨州、安陸、宜昌；繼援湖南，克澧州、常德。曾天養有勇有謀，雖年已六十，但每戰必身先士卒，武藝精湛，無人能敵。
然而，城陵磯之戰，遇上塔齊布，也算碰上了強敵。塔齊布是湘軍第一員猛將，善於騎戰，精於馬術，他是滿洲鑲黃旗人，依然保持著入關時那種剽悍的氣質。
二人激戰多時不分勝敗。曾天養怒睜豹眼，越戰越勇，突然一矛刺中塔齊布戰馬，一個顛撲，塔齊布幾乎摔下馬來。塔之親兵在同一瞬間，從曾天養背後猛刺一槍，曾天養猛一回馬，其坐騎即被刺中，馬蹶人倒，被塔齊布挺矛刺中，壯烈犧牲。
曾天養的犧牲，是太平天國的重大損失，西征軍聞知皆痛哭失聲，為之“茹齋六日”，洪秀全追封他為烈王。城陵磯主將犧牲，頓失鬥誌，隻好敗退武昌。
城陵磯戰後，曾國藩指揮水陸並進。水師連陷嘉魚、金口，湘軍將士揚眉吐氣，逢陣皆露立船頭，不披甲胄，不避槍彈，一路殺來，直達武昌城南數十裏下泊。陸師從嶽州出發，經蒲圻、鹹寧、山坡、紙坊，直達洪山一帶。
水師達金口時，曾國藩召集眾將，議攻城之策。羅澤南提出，陸路分兵兩路，一路攻洪山；一路攻花園。他說，花園的太平軍有精兵兩萬，設有三座大營，若攻其洪山，花園太平軍必起而援助，羅澤南自任前鋒，先攻花園，餘兵扼堵洪山，協其攻克花園，武昌即成為孤城。曾國藩同意了他的計劃。
鹹豐四年八月二十一日(1854年10月12日)，羅澤南揮軍進攻花園，太平軍憑借臨時搭起的木城，架炮轟擊，羅軍伏地前進，待攻至木城前，太平軍竟潰亂而逃。羅軍乘勢奪取了數十條大船，連續攻克了三座大營，兩萬太平軍幾乎不戰而潰，第二天，繼攻鯰魚套，經過小戰，也輕易取得。花園太平軍潰敗，塔齊布率軍攻洪山，洪山守軍堅決抵抗。得知花園潰敗，此路太平軍知不能守，也紛紛退避。塔齊布下令攻擊，太平軍多跳湖奔逃，降者千餘，洪山亦克。
湘軍兵臨武昌城下。
太平軍武昌守將為黃再興、石鳳魁、韋以德等人，或則員，或則國宗，皆不習戰事。當曾天養犧牲，湘軍水陸北上達金口時，國宗韋以德首先逃離武昌。太平軍在武昌城的守衛部隊尚有千餘戰船，陸師萬人以上。但黃、石等人無指揮之才，官兵也悲觀失望，在太平軍失陷花園、洪山的第二天夜裏，便棄城逃走。長江上遊最重要的重鎮武漢，就這樣輕易地丟給了湘軍。
石鳳魁等人是在少量守護部隊的保護下私逃的，漢水裏的大批船隻、數千水軍及城裏的守衛部隊皆未得到撤退的消息。天一亮時，湘軍攻城，城裏的守將早已逃跑，守軍大亂。湘軍登上城牆，打開城門，一捅而入。
凶猛的湘軍逢人便殺，太平軍屍橫滿街，血水成河。被禁閉在漢水裏的船隊遭到湘軍的猛烈射擊，或被射殺，或被趕入水中淹死，水師受到毀滅性打擊。
曾國藩於當日在諸將官的擁護下進入昌門，見到這湖廣第一名城已為自己收複，心裏感慨萬端。
武昌被攻占的第七天，湖廣總督楊霈向鹹豐報捷。又過了6天，曾國藩才詳細地向鹹豐奏報了湘軍進攻花園、洪山及攻克武昌的戰況。
鹹豐聞報，高興得比曾國藩還要厲害。他簡直不敢相信曾國藩一個員，率領編練不足一年的湘軍，竟把武漢攻克，收複兩湖大部失地。看過奏報，立即下旨，任命曾國藩為湖北巡撫。他興高采烈地向大臣們說：“不意曾國藩一書生，乃能建此奇功！”還在諭旨中表示：“獲此大勝，殊非意料所及。朕惟兢業自持，叩天速赦民劫也。”
隨後，又下旨封賞湘軍將領。胡林翼升為湖北按察使，羅澤南為浙江寧紹台道，彭玉麟為廣東惠潮嘉道，楊載福擢常德協副將，鮑超升為參將，李元度、李續賓、郭嵩燾、劉蓉、陳士傑等人都有升遷。
正當大家興高采烈，喜慶榮升之時，又一道上諭弄得眾人暈頭轉向。在收到授曾國藩署理湖北巡撫的第七天，曾國藩跪聽的又一個上諭是：“曾國藩著賞給兵部侍郎銜，辦理軍務。毋庸署理湖北巡撫。陶恩培著補授湖北巡撫，未到任之前，湖北巡撫著楊霈兼署。曾國藩、塔齊布立即整師東下，不得延誤。”鹹豐帝還在曾國藩的奏折上批道：“朕料汝必辭，又念及整師東下，署撫空有其名，故已降旨令汝毋庸署理湖北巡撫，賞給兵部侍郎銜。”還怪曾國藩的奏折不署加封的官銜(即署湖北巡撫銜)，故說是“違旨之罪甚大，著嚴行申飭。”
上諭改變了初衷，收回署理湖北巡撫的旨意。曾國藩本來就是侍郎，上諭又說“賞給”，純是空頭人情，曾國藩的官職丁點未動，還落得個“嚴行申飭”。更讓曾國藩惱怒的是，署理湖廣總督楊霈未有寸功，卻因武昌收複而實授總督，一直與曾國藩作對、反對編練湘軍的原湖南按察使、新授江蘇布政使陶恩培竟實授了湖北巡撫之職。
是何原因?上諭解釋，因曾國藩立即要率師東下，“署撫空有其名”。然而，當時清軍、湘軍中的授銜，哪個不是“空有其名”呢?所以，還是令人費解。究其原因，鹹豐帝是在遵奉大清祖訓，即不肯把地方督撫大權交給手握兵權的漢人控製。此後，曾國藩率軍艱苦奮鬥，仗越打越大，聲名越來越高，清政府對他也越來越不放心。使他在若幹年內，處於客軍虛懸之地；以後雖授以地方大員之位，仍是不斷發生齟齬，對他遊移不定，甚或加以打擊，使曾國藩左右為難，進退維穀，甚是尷尬。
曾國藩攻取武昌後向鹹豐皇帝奏報了下一步的作戰計劃，即采取穩紮穩打、步步為營的推進方略，先經營湖北，再以兩湖為基地，進取江西、安徽，步步逼向太平天國的大本營南京。眼前需要休整部隊、補充兵員、調集糧餉，作好再度戰鬥準備。曾國藩提出，太平軍的主要兵力部署於長江兩岸，實力並未根本喪失，湘軍雖取得武昌城，若全軍東下，失去後方供應，必然陷入困境，造成難以估計的後果。但是，鹹豐皇帝卻拒絕接受曾國藩的正確意見，下旨令湘軍立即東下，曾國藩不敢違旨，隻得提兵東下，果然陷入了軍事困境，幾乎全軍覆沒。隻是在東進的第一仗田家鎮一戰再次取得勝利。
當武昌失守消息傳至天京(即南京)，使太平天國領導人洪秀全、楊秀清等甚為震動，送下令鎖拿黃再興、石鳳魁，押回天京。令燕王秦日綱前往田家鎮布防，迎擊湘軍的東進。
秦日綱率領3萬人馬西上，行至湖北蘄州，召集各地的軍隊和自武昌敗退的軍隊。不久，石祥禎、韋俊、林紹璋、石鎮侖、周國虞等部皆到達蘄州。武昌敗退的軍隊，也陸續到達萬餘人。秦日綱在蘄州召開軍事會議，商量戰守事宜。大家都認為，湘軍占武昌，勢必東進，犯天京。但湘軍水陸充其量不過3萬人，而且連連戰鬥，未得休整；太平軍目前集於蘄州者已過5萬人；從蘄州至武穴，關隘甚多，充分加以利用，正是殲滅湘軍的大好時機。
韋俊、周國虞等進一步提出：蘄州、武穴之間有一險鎮名曰田家鎮，位於長江北岸，隔江相對的是半壁山。此處江流湍急，地勢險要，在此布置人馬，是殲擊湘軍的好去處。最後，秦日綱決定讓檢點陳玉成率軍駐守蘄州，其他諸軍全部駐守田家鎮，準備在此全殲湘軍。
正如太平軍諸將所分析的那樣，田家鎮的確是武昌以東的軍事重鎮。該鎮是一個有5000人口的大集鎮，商賈繁盛。對岸的半壁山，孤峰雄立在大江南岸。山下一條大道，通往瑞昌；山南麓有一條發源於幕阜山，流經通山、興國的富水，在此注入長江。入江之處是富池鎮，下走30裏，便是武穴。鹹豐三年一月(1853年2月)，太平軍在此大敗兩江總督陸建瀛，如今主客易位，太平軍要在此阻擊湘軍。
秦日綱率領4萬人馬趕至田家鎮，偵察之後分兵兩處。秦日綱、石祥禎率兩萬人馬駐守田家鎮，韋俊、石鎮侖、周國虞等率兩萬人馬守衛半壁山。
韋俊等來至半壁山，對防守進行了精心安排。韋俊、周國虞等將領皆非泛泛之輩，韋俊是北王韋昌輝之弟，又名韋誌俊、韋十二，年方28歲。太平軍起義初，隨兄起義。他雖是國宗，但學問、見識都很高，打起仗來也頗英勇、果敢。自起義以來，參加了許多次惡戰，表現突出，戰功卓著。湘軍成軍後，與之進行了幾次戰鬥，知湘軍非綠營軍可比；曾國藩等將領也非一般清朝官吏，對他們不能掉以輕心。這次作戰，他是半壁山兩萬兵馬的主將。他讓石鎮侖率軍8000人至半壁山腳安營，林紹璋率5000人駐守富池鎮，周國虞率6000水軍扼守江麵，自己率其餘兵馬紮營半山腰，總領半壁山戰場。他向部隊下了死命令：掐死湘軍水陸去路，絕不許後退。
韋俊、周國虞等還怕擋不住湘軍水師，提出可在江麵上設一道攔江鐵鎖，以阻湘軍的戰船。他們也知當年東吳阻擋晉軍、後晉阻擋後漢，都用過鐵鎖擋江之法。然而，鐵鎖如何架法?為什麽當年吳、晉的鐵鎖又未鎖住大江?唐代大詩人劉禹錫《西塞山懷古》，悼念當年吳國在田家鎮的上遊黃石設攔江鐵鎖，還是被晉國大將王浚打破，落得“千尋鐵鎖沉江底，一片降幡出石頭”。最後大家認為，戰守之具全在運用，沒置攔江鐵鎖，用以阻擋湘軍水師，絕不會出現“金陵王氣黯然收”的那種下場。
太平軍裏有的是鐵匠、木匠，周國虞等人找他們來一同商量。大家七嘴八舌做出了決定：做成6根大鐵鎖，南拴半壁山，北係田家鎮，橫截大江江麵。鎖下每隔10丈安一隻大船，首尾以大錨固定，鐵鎖也固定在船上。每隔3隻大船再設一個大木排，承受鐵鎖的壓力。按此計議，周國虞布置鐵匠打鎖、木工造排，10天以後半壁山6道攔江大鎖造成，像6根玉帶，捆住了滔滔大江。
北岸田家鎮的布防與南岸半壁山大體一致。
鹹豐四年九月十三日(1854年11月3日)，湘軍水陸從武漢出發，分兵3路東進。湖北軍在固原提督桂明的率領下，沿江北岸推進，為第一路；湘軍水師順流而下為第二路；湘軍陸師沿南岸前進為第三路。湘軍陸師離開武漢後又分為兩支：塔齊布一軍經武昌縣進攻大冶，羅澤南一軍經金牛堡進攻興國，兩地取勝後，合軍進攻半壁山。
曾國藩親自指揮水師沿江東下，經葛店、黃州，於第三天到達道土洑。接到前軍探馬報告：前站是蘄州，有太平軍陳玉成守衛，水陸號稱萬人，主要是陸師，僅少量水師。湘軍前鋒塔齊布現達金牛鎮，聽候進軍命令。
曾國藩與彭玉麟、楊載福、劉蓉、郭嵩燾等研究之後，下令塔齊布與羅澤南分別進攻大冶和興國，引誘陳玉成援救，水師趁機衝過蘄州。
塔、羅兩軍接到戰令，立即向大冶和興國發動進攻。陳玉成果然親率4000人馬援救興國與大冶，而塔、羅兵進神速，不待陳玉成趕到，已分別攻下兩地，合軍向半壁山前進。
曾國藩知陳玉成率兵援救興國與大冶而去，先是企圖一舉攻下蘄州城，結果進攻幾次皆未成功，遂改變策略，采取越寨攻敵之策，舍棄蘄州而不攻，順流直駛田家鎮。楊載福的先鋒營首先到達田家鎮，猛然看到江麵上有黑黝黝的6根大鐵鎖攔在江麵上，鐵鎖後麵布置著太平軍的水師。楊載福明知鐵鎖難過，急令後撤，太平軍水師大炮齊轟，幾條戰船被打傷，許多湘軍士兵落入江中。
曾國藩也無過鎖之策。他發出命令，先讓陸師進攻半壁山，或能奪得半壁山，從岸上除掉鐵鎖，水軍開炮，為陸軍助戰。
羅、塔兩軍依令分別攻打半壁山和富池陣。太平軍依險頑強抵抗，湘軍先有武昌之勝，打起仗來也格外勇敢。經一天激戰，雙方死傷很重，羅軍方攻下山腳的營盤，太平軍退回山上。塔軍經兩天激戰，攻下富池鎮。第二天，秦日綱、韋俊親自指揮，反攻湘軍，血戰竟日，太平軍大敗，退回對麵的田家鎮，半壁山戰鬥結束，這天是十月初七日(11月26日)。
這時，湘軍水師也部署了破壞江上鐵索的計劃。彭玉麟、楊載福指揮戰船，集中火力轟擊太平軍的江麵水師，同時轟擊鐵鎖下的船隻和木排。在強大火力的掩護下，湘軍駛出一隊船隻，分別駛至鐵鎖之下，以巨鍋盛滿油脂，置於船上，將大鐵鎖燒紅，用巨斧砍斷。
太平軍見湘軍欲斷鐵鎖，水陸兩軍同時出戰，拚命阻擋。戰鬥在江麵和兩岸同時進行，異常激烈。燒鎖的湘軍船隻多次被炮火擊中，巨鍋裏的沸油燒著了戰船，另一隻燃油的戰船再衝上去，繼續燒鎖。
此時，占領半壁山的湘軍，利用山上大炮轟擊江麵上的太平軍水師。
十月十三日(12月2日)，攔江鐵鎖被焚斷，湘軍水師攻過田家鎮，沿江焚燒太平軍的戰船，被毀達4500餘隻，長江江麵，一片火海。太平軍西征的戰船不下萬艘，經湘潭、嶽州、武漢、田家鎮幾戰，九江以上的戰船蕩然無存，水師大體瓦解。
田家鎮一戰，太平軍水陸大敗，傷亡巨大。於十月十三日(2月3日)退向黃梅。十四日(4日)，蘄州守軍也敗退廣濟。湘軍陸師尾追至黃梅與廣濟之間的雙城驛，兩軍再次交鋒，太平軍再敗，退向九江。
湘軍在田家鎮戰役中雖然取得勝利，但傷亡也很重。戰後，曾國藩集中部隊在田家鎮休整，向鹹豐報捷，為部下討封賞，為陣亡官兵請恤。曾國藩深知優恤死者，可以激勵生者，在田家鎮建立“昭忠祠堂”，供奉哨官以上的軍官，犧牲勇丁，也都刻碑紀念。八個紀念石碑密密麻麻地寫滿了犧牲者的姓名。祠堂落成，曾國藩率全體軍官，向死者亡靈行祭；曾國藩為死者親題挽聯：“巨石咽江聲，長鳴今古英雄恨；崇祠彰戰績，永奠湖湘子弟魂。”左右燃起紙香，曾國藩誦讀祭，先是嗚咽，再是泣涕，最後竟放聲大哭。他充滿感情地哭訴：“自軍興以來，從未有此次喪師之慘者!”湘軍水陸全體將官皆為之感泣落淚。
田家鎮失利的消息傳到天京，楊秀清急令在皖南作戰的翼王石達開、在江西饒州的冬官正丞相羅大綱星夜輕騎赴援。
石達開是威震敵膽的太平軍名將，武兼備。他聞田家鎮失利，立即率5000勁旅，日夜兼程，趕赴增援，成為太平軍西征軍的主帥。
羅大綱也是太平天國著名驍將，手工工人出身，10年前就是廣西天地會首領之一，長期進行反清武裝鬥爭。太平天國起義時，率天地會加入起義隊伍，從廣西到南京的征戰中，一直是先鋒營指揮官，率軍首先攻入永安州、全州、嶽州等城鎮，功勞卓著。定都之後，與吳如孝一軍聯合攻占鎮江。太平天國西征，命為主將之一，率軍轉戰皖南、江西一帶。他的部隊敢打敢拚、軍紀嚴明，在太平軍中威信極高。這次赴援，率領萬餘精銳趕往前線。
當他們在九江會師時，黃梅已失守，大批太平軍正在潰敗後撤。湘軍仍在潰軍之後窮追。羅大綱首先率軍攔住潰軍，在孔壟驛一帶與追兵激戰，阻住了湘軍的攻勢。而後退軍九江、湖口兩城。
湘軍陸師隨後追殺，於鹹豐四年十一月十五日(1855年1月3日)攻占小池口，十一月二十一日(1月9日)渡長江，二十五日(13日)紮營九江大東門外的四裏坡。湘軍水師也順流攻到九江之側的江麵上，與陸師合圍九江城。湖廣清軍副將王國才率領4000人馬駐紮黃梅，按察使胡林翼率軍2000人由鹹寧東出瑞州，進攻九江之背。諸軍合在一起約26000餘人，統歸曾國藩指揮。
守衛九江的將領也是太平天國著名驍將林啟榮，他三十餘歲，是金田起義的老兄弟，在東王楊秀清的直屬部隊先鋒營。作戰英勇頑強，勇冠三軍。西征開始，他也是楊秀清親點的主將之一。
石達開一進九江城，即招集羅大綱、林啟榮等諸將研究如何對付湘軍的攻擊。林啟榮占領九江已兩年，他對九江的防衛很有信心，提出太平軍合軍5萬人，對付遠道而來的湘軍兩萬多人，可采取以守為攻，以逸待勞的辦法。待湘軍兵疲師老，可合軍殲之，不可立即決戰。石達開同意林啟榮以守為攻的戰略，但他強調要守中有攻，不斷利用機會，打擊來犯的驕兵驕將。石達開命令：林啟榮以守九江城為主，羅大綱守衛湖口西岸的梅花洲，自己守湖口城，三軍互為犄角，配合作戰。
正如石達開等人估計的那樣，湘軍連戰連勝，尤其是武昌、田家鎮之戰後，太平軍節節敗退，勢如潰堤，更平增了湘軍的輕敵思想。湘軍水陸攻至九江城下，曾國藩在座船上召開會議，研究進攻方案。他對九江的地形及林啟榮、石達開的軍勢能力是有一定了解的。會上他提出，九江北枕大江，南控鄱陽湖，周圍山水縱橫，形勢險要，各要地皆有“長毛”水陸把守。林啟榮在此經營兩年，絕非泛泛之城可比。現在又有翼王石達開坐鎮，據說此人武兼備，是“粵匪”中的頂尖人物，非尋常草寇可比。
但是，塔、羅、彭、楊等人皆認為綠營軍與“長毛”作戰，不是失敗於敵人多麽厲害，而是敗在自己的**無能。自與湘軍作戰以來，未見“長毛”有多麽厲害。所以，都摩拳擦掌，打算一鼓作氣，攻下九江。於是決定塔齊布、羅澤南、鮑超、李續賓、彭玉麟、楊載福、李孟群等各領水陸大隊，分兵攻打九江的四門，一舉攻克。
然而，當四路人馬向九江城前進時，卻不見城上有太平軍一兵一卒。當湘軍挨近城邊，“則旗舉炮發，環城數千堞，旗幟皆立如林”。太平軍憑借林啟榮兩年來修建的堡壘和配置的火力，懷著滿腔複仇的怒火，向湘軍猛烈轟擊，殺得湘軍人仰馬翻，卷旗逃命。塔、羅等將企圖製止湘勇敗退，但看到城上火力甚猛，白白傷亡人馬，隻得帶著潰兵回至營地。
曾國藩、羅澤南、彭玉麟等人與石達開、林啟榮經過這次交戰，方知石、林確非泛泛之將，知硬拚硬打不能奏效，乃另謀善策。他們決定先在九江上遊的竹林店休整，之後由塔齊布率軍繼續攻城，牽製九江兵力，由羅澤南率軍繞過九江，攻取湖口，彭玉麟與胡林翼合力進攻梅家洲。如此分兵攻擊，使太平軍窮於應付，若有一處得勝，則可打開一個突破門。
石達開與羅大綱等立於九江城頭，見湘軍退走，幾天不再進攻，料定曾國藩必然另有所圖，遂命各軍密切注意。他估計湘軍攻不下九江，將會轉攻其他要地，便親率小股部隊，到上遊各要處查看防衛情況。先乘夜至九江下遊50裏的湖口視察，接著又到了對麵江心的梅家洲。
視察之後，便命令羅大綱率領l萬人馬開赴梅家洲，並立即在洲上築壘架炮，封鎖江麵，準備迎擊湘軍的水師進攻。讓林啟榮加強九江城防，堅守城壘，不要出城作戰，利用槍炮火器打擊攻城的湘軍。自己親率1萬陸師和數百戰船，趕赴湖口。
太平軍分兵防守布置完畢，湘軍分兵攻擊的計劃也開始實施。他們沒有料到，九江城裏的石達開與羅大綱已經在湖口和梅家洲張網等著捕魚了。羅澤南求勝心切，催兵趕至湖口，湖口縣城一片寂靜。湘軍貿然衝向城廂，大軍到了護城壕畔時，城頭上萬槍齊發，打得湘軍像秋風掃落葉，一片片倒下，餘者伏地還擊，戰鬥不到半個時辰，便不支潰退下來。羅澤南心急如焚，催馬督軍再戰，石達開命令大開城門，出動兩支人馬，迎擊羅部。湘軍自出師以來，第一次碰上太平軍如此猛烈的進攻，一觸即潰，退至江邊。
進攻梅家洲的彭玉麟水師，也陷入了羅大綱布置的火力網中。洲頭有戰船架炮攔擊，洲上是數百門大炮封鎖，湘軍水師一下子被打得隊形散亂，船翻人亡。自率軍以來，彭玉麟沒打過敗仗，這次梅家洲的失敗卻是極慘。他的水師前進不能，後退又遭洲尾巨炮的堵擊，首尾難顧，進退兩難。經過左衝右突，丟下大批船隻武器，付出很大代價，才突出封鎖，逃離戰場。
攻擊九江城的塔齊布一軍自然更是無能為力了，隻能丟下大量屍體，無功而退。
石達開打擊了湘軍的銳氣之後，進而謀劃破敵良策。他向眾將分析：我們以險阻擊湘軍，已收成效，但要想破敵，就得出擊，而打出城池與曾妖硬拚並無把握。湘軍水師強大，我軍戰船數量不多，裝備也遠遜於彼。欲破湘軍，必先敗其水師；而破其水師，隻能智取。
諸將向石達開詢問智取之計。石達開說，曾妖頭的水師船隻有長龍、快蟹、舢板三種，長龍與快蟹都是大船，行動緩慢，不利於前鋒戰鬥，而利於指揮、運兵、運械；舢板行動輕捷，利於戰鬥。二者相互配合，取長補短，相得益彰，過去的幾仗，皆仗大小船隻的配合而取勝。今天我們用計讓二者分開，使其分則兩敗，才是破敵良策。
諸將又問如何方能使之大小戰船分開。石達開說，用計之事，我來布置。但自此之後，九江、湖口、梅家洲各軍隻許堅守，湘軍來攻，一概置之不理，聽我用計安排。
曾國藩幾番進攻，皆遭挫敗。休整了兩日，不見敵軍動靜。於是，再令各路出擊。諸軍因有前番的教訓，隻是遠遠地開槍開炮，不敢再涉險境。即使如此，九江等城，亦不見太平軍的任何反映，連冷槍也不打一發。各路軍馬折騰了兩天，疲憊地返回營地。入夜正要休息，湘軍水師的宿營江麵，突然槍炮齊鳴，並有無數小船衝入江中，把火箭、火球射向湘軍水師船上。湘軍水師欲戰無從戰，欲睡無法睡。連續幾夜，弄得湘軍驚恐不安，將帥們心焦氣躁。
石達開見時機成熟，便開始用計。
鹹豐四年十二月十二日(1855年1月29日)，一串40餘隻的太平軍船隊突然出現在江麵上，這個情況被湘軍斥候看在眼裏，報告給曾國藩。曾國藩立即與諸將商量對策，按照常規，湘軍水師遠勝太平軍水師多倍，他們不敢出動40餘船在長江上行動，既然行動，必有原因，曾國藩本應小心對付。但逢湘軍既驕又躁之時，也不做深入推想，反正明明是石達開的船隊，出來了就得打。曾國藩也認為再無攻敵良策，不能失此機會，便命蕭捷三等率舢板120餘隻攻擊太平軍船隊。
蕭捷三又氣又急，想衝上敵船消除連日的躁氣，命令湘勇快速追趕。太平軍的船隊都是輕便小船，見湘軍大隊來攻，也拚命前駛。雙方你逃我趕，比賽速度，轉眼劃至湖口。眼看就要追上，蕭捷三正準備命令前鋒開炮，隻見太平軍船隊向右一轉，一齊向鄱陽湖駛去。蕭捷三仗著自己的船多，不假思索，也指揮水師進了鄱陽湖。誰知湖口外連長江、內接鄱陽湖，是500裏湖水的進出口，口子極窄，如同一個大肚口袋的袋口。
雙方船隊進入鄱陽湖後，太平軍立即封住湖口水卡，修上工事，安裝大炮，將其死死地鎖在湖內。從此，湘軍水師被肢解為外江和內湖兩部分。留在長江水麵的全是長龍和快蟹大船，失去快船的護衛，完全陷入被動挨打的境地。
曾國藩等到傍晚不見蕭捷三的消息，正在焦急，突然有大隊太平軍船隻向湘軍水師攻來。湘軍的大船離開了舢板，猶如鷹隼失去了翅膀，在敵船的進攻中，隻能笨拙地移動。太平軍輕便的小船在湘軍的大船夾縫中，穿梭般劃來劃去，投出串串火把、火球，不一時便燒毀湘軍大號船9隻、中號船30餘隻。曾國藩，彭玉麟仗著大船炮火猛烈，打得太平軍快船無法靠近，才免遭滅頂之災。
太平軍船隊勝利撤走後，曾國藩急忙調回在武穴養病的楊載福，又調回羅澤南、胡林翼各部，集中力量，再攻九江。就在羅澤南回九江的當天夜裏，即鹹豐四年十二月二十五日(1855年2月1日)夜間，太平軍對停靠在靖港內的湘軍水師發動了更大規模的進攻。石達開命數十隻小船滿載各種火器進入江內，鑽入湘軍船隊中間放火延燒。時人有筆記記載當時的戰況說：
其日，長沙惴惴居賊中，人自以為必敗。國藩集謀攻守，皆曰入城坐困，宜親督戰。或議先靖港奪寇屯；或曰靖港敗，還城下，死地矣，宜悉兵攻湘潭。不利，保衡州，即(使)省城陷，可再振也。水師十營官皆至，推彭玉麟決所嚮，定湘潭。五營先發，約明日國藩率五營繼之。夜半，長沙鄉團來請師曰：“靖港寇屯中數百人，不虞(防備)我，可驅而走也。團丁特欲借旗鼓以威賊，已作浮橋濟師，機不可失。”聞者皆踴躍。國藩亦憂湘潭久踞，思牽(製)之，改令攻靖港。庚午(四月二日)，平旦至，水急風利，炮船徑逼寇屯，寇炮發，船退不得上，纜而行。寇出小隊斫纜者，水師遂大亂。陸軍至者合團丁攻寇。寇出，團丁遽反奔，官軍亦退，爭浮橋，橋以門扉、床板(搭成)，人多橋壞，死者百餘人。國藩仗劍督退者，立令旗岸上曰：“過旗者斬。”士皆繞從旗旁過，遂大奔。
眼見自己編練的湘勇如此不中用，曾國藩一時激憤，竟欲投水自盡，被悄悄跟隨其後的章壽麟發現救起。章壽麟，字價人，湖南長沙人，時在曾國藩幕府。後曾任安徽補用知府，即補直隸知州。光緒二年秋，章氏還鄉，舟次靖港，望銅官山，感懷舊事，作《銅官感舊圖》，記敘此事曰：
鹹豐四年，賊由武昌上犯嶽州，官軍禦之羊樓司，失利，(太平軍)遂乘勝逼長沙。四月，賊據靖港，而別賊陷寧鄉、湘潭。湘潭，荊南都會，軍實所資。時公(即曾國藩)方被命治軍於湘，乃命水陸諸將複湘潭而自率留守軍擊靖港賊，戰於銅官渚，師敗，公投水。先是，予與今方伯陳公(即陳士傑)、廉訪李公(即李元度)筞：公敗必死。因潛隨公出，居公舟尾而公不知。至是，掖公登小舟逸而免。公怒予曰：子何來?予曰：師無然，湘潭捷矣，來所以報公也。已而湘潭果大捷，靖港賊遁去。公收餘眾，師複振。
另一當事人李元度(即上所提及的李廉訪，廉訪，為清代按察使之別稱)，所敘經過更為詳盡：
靖港者，資水入湘之口，距會城(即省會長沙)六十裏，為一都會地。有銅官山，六朝置銅官於此，因此稱銅官渚者也。時賊帆遍布，遊弋逼會城。正(即曾國藩，正為其諡號，用作尊稱)憤甚，親率留守之水陸營進剿。餘亟止之曰：兵之精者，已調剿湘潭，早晚捷音必至。此間但宜堅守勿輕動，正不許。餘與陳公及價人並請從行，亦不許。瀕行以遺疏稿暨遺囑二千餘言密授餘曰：我死，子以遺疏上巡撫，乞代陳，遺囑以授弟，挈營中軍械輜重，船百餘艘，子且善護之。四月朔，舟發。陳公固請從，峻拒之。餘與陳公謀，令價人潛從於後艙備緩急，正不知也。明日戰，鄉團勇先潰。陸軍隨之，所結浮梁斷，溺斃二百有奇。水師中賊(埋)伏亦潰，賊艘直犯帥舟，矢可及也。正憤極投水，將沒頂矣，材官傔力挽。正大罵，須髯翕張。眾不敢違，將釋手矣。價人自後艙突出，力援以上。正瞠視曰：爾胡在此?價人曰：湘潭大捷，某來走告，蓋權辭以慰公也。乃挾登漁艇。南風作，逆流不得上。賴劉君國斌力挽以免。明午抵長沙。正衣濕衣，蓬首跣足，勸之食，不食，乃移居城南妙高峰。再草遺囑處分後事，將以異日自栽。遲明，捷報至，官軍報湘潭燔賊船數千，殄滅無遺種，靖港賊亦遁。正笑曰：死生蓋有命哉!乃重整水陸軍，未十年，牛蕆大勳。
從李元度敘述的情況看，曾國藩之所以投水，是因為太平軍直逼其座舟，他擔心被俘受辱而試圖自盡。但從事先便將遺疏與遺囑交待給李看，則曾國藩早有不成功便成仁的思想準備。四月十二日，湖南巡撫駱秉章領銜會奏湘潭水陸會戰大捷時，強調了靖港失利的氣候因素，為他做了開脫。但羞恥心極強、責任心極重的曾國藩不肯，又單獨上了一份請罪折，並附有遺折，仍打算以死謝罪，請罪折從主觀上找敗因。將失利歸咎為自己求勝心切，處置乖謬，具體表現為三點：一、紀綱不密，維係不固，以致潰散；二、輕進求勝，對事出意外的退敗沒有準備；三、明知水勇訓練不足，陸勇臨陣經驗不足，貿然出戰，責任在自己心存僥幸。為此，他實行一貫的精兵原則，毅然裁撤了靖港的潰勇，隻保留了在湘潭經受住戰火考驗的水師五營、陸師三營與駐守平江的湘勇，總計四千餘人，比出征時精簡了一半以上。請罪折最後稱：“微臣自憾虛有討賊之誌，毫無用兵之才，孤憤有餘，智略不足，仰累聖主知人之明，請旨將臣交部從重治罪，以示大公。”並請求朝廷另派大臣統帥湘軍，而自己在朝廷派人接手之前，仍當竭盡血誠，一力經理。若船隻修複，水勇訓練足恃後，“臣必迅速駛赴下遊，不敢株守片刻。”
勝敗者兵家之常事，況且與湘潭大捷相比，靖港的失利隻能算是小敗。曾國藩隻是一丁憂在籍的侍郎，並非有守土之責的封疆大吏，打了敗仗，大不了降級革職，何至於以死謝罪呢?究其原因，不外乎三點。一是失望。一年多來苦心孤詣，試圖練成一支百戰艱難、視死如歸的勁旅，不想一戰即潰，對他是個沉重的精神打擊。二是愧恨。自己不能在籍守製，已是不孝；不懂軍事，卻“輒以討賊自任”，接受力所不能及的使命，致使喪師辱國，“上負聖主重任之意，下負兩湖士民水火倒懸之望”。三是憤懣。靖港之戰，曾國藩帶赴出戰的水陸軍僅一千八百餘人，戰敗後潰散約一半，且有天氣因素，算不上大敗虧輸。但這一敗，省城平時有積怨於他的官紳們卻一哄而起，群起而攻之。曾國藩晚年曾憶及當年在湖南之困境。
起義之初，群疑眾謗。左季高以吾勸陶少雲(即左宗棠之婿)家捐貲緩頰未允，以至仇隙，駱籲門(即駱秉章，字籲門)從而和之。泊舟郭外，駱拜客至臨舟，而惜跬步不見過。藩司陶慶培(後任鄂撫殉難)、臬司徐有壬以吾有靖港之挫，遽詳駱撫請參奏。黃昌岐及吾部下之人出入城門，恒被譙訶，甚至有撻逐者。
自己盡全力於公事，不惜得罪人，但偶有挫敗，卻“為通省官紳所鄙夷”，群起攻訐唾罵之，一憤。他之所以不回省城，而是駐於城外的妙高峰，十有**是激於此憤。老父竹亭公已經65歲，不僅支持他墨絰從戎，而且“日日以家書勉臣盡心王事，無以身家為念。凡貯備幹糧，製造軍械，臣父亦親自經理，今臣曾未出境，自取覆敗，尤大負臣父藎忠之責”。打了敗仗，無顏於父老，二憤。“臣自去歲以來，日夜以討賊為心。曾書檄一道，刊刻張貼。今事無一成，貽笑天下；而臣之心，雖死不甘。”三憤。
曾國藩是位儒者，而儒者心中必有道德之自律，所謂“行己有恥”是也。其私淑之宗師顧亭林亦雲：“人之不廉而至於悖禮犯義，其原皆生於無恥也。故士大夫之無恥，是渭國恥。”上述之失望、愧恨與憤懣，交織糾結而成一種強烈的、揮之不去的羞恥感。“公言古人用兵，先明功罪賞罰，今時事艱難，吾以義聲倡導鄉人，諸君從我於危亡之地，非有所利也，故於法亦有所難施。”曾國藩不忍處置部下，但戰敗的責任仍得有人來負，故在得知湘潭大捷的消息後，他仍不能釋懷，在上折請罪的同時，草擬了兩道遺折，打算一同發往北京，以死謝罪。
那麽為何他又沒死成呢?據左宗棠說，是曾麟書的來信救了他。四月五日，湘軍大勝、克複湘潭的消息傳到長沙，當日早晨，左宗棠出城去看曾國藩，並送交曾父的家信。其信中說：
其晨，餘(左氏自稱)縋城出，省公舟中，(公)則氣息僅屬，所著軍襦沾染泥沙，痕跡猶在。責公事尚可為，速死非義。公嗔目不語，但索口書所存炮械、火藥、丸彈、軍械之數，囑餘代為檢點而已。時太公(指曾父)在家，寓書長沙，飭公有雲：吾兒此出，以殺賊報國，非直(隻)為桑梓也。兵事時有利鈍，出湖南境而戰死，是皆死所(意謂；死在哪裏都是死得其所)；若死於湖南，吾不哭爾也。聞者肅然起敬，而亦見公平素自處之誠。後此沿江而下，破賊所據堅城巨壘，克複金陵，大捷不喜，偶挫不憂，皆此誌也。
父親責之以大義，作為孝子的曾國藩不能不聽從。而接到湘潭大獲全勝的奏報，鹹豐則大喜過望。自與太平軍作戰以來，清軍還從沒有打過一次殲敵兩萬的勝仗，整日處在憂危之中的皇帝，想必精神一振。見到曾氏自請處分，把靖港之敗看很那麽嚴重，鹹豐覺得他未免書呆子氣，便在上諭中挖苦道：“此奏太不明白，豈已昏聵耶?汝罪固大，總須聽朕處分。豈有自定一拿問之罪，殊覺可笑!想汝是時心操如懸旌，漫無定見也。”捷報由巡撫駱秉章領銜，曾國藩與湖南提督鮑起豹會銜，可皇帝心裏清楚，打了勝仗的塔齊布，是曾國藩極力舉薦的將領；獲勝的水師也是曾國藩一手編練而成，沒有曾國藩打底，便不可能有這場大捷。駱秉章、鮑起豹，不過是因人成事而已。尤其是鮑起豹，本為一省最高軍事長官，卻總蹲在省城，從未見到其出城作戰，鹹豐早就對他起了疑心。經過一番查問了解後，皇帝此番賞罰分明，對曾國藩“加恩免其治罪，即行革職，仍趕緊督勇剿賊，戴罪自效”。這個處分很輕，湘軍仍由曾國藩負責，隻要以後打幾次勝仗，很容易官複原職。而鮑起豹“自賊躥湖南以來，並未帶兵出省，疊次奏報軍務，僅止列銜會奏。提督有統轄全省官兵之責，似此株守無能，實屬大負委任。鮑起豹著即革職，所有湖南提督印務，即著塔齊布暫行署理”。鮑氏是實實在在的革職，被他一直視為眼中釘的部下所取代。
靖港之戰使湘軍元氣大傷，尤其是水師幾乎潰不成軍。要想繼續與太平軍作戰，必須重整旗鼓。
水師是湘軍的命脈，在長江流域作戰，攻克南京，撲滅太平軍，沒有強大的水師根本是夢想。所以，曾國藩首先要重振水師。外江水師已被派往援救武漢，留在鄱陽湖內的120多隻快船處境十分困難，曾國藩先要救活湖內水師。他專程跑到南昌，求助於江西巡撫陳啟邁，請求為湖內水師增造長龍大船30號，就地招募水勇、供給餉械。然後又為重整江上水師努力奔走，他上奏鹹豐，請他下旨地方，讓湖南省為他添造戰船，招募水勇。自己派員到湖北新堤、湖南嶽州大力修造戰船。到鹹豐五年四月(1855年5月)，湖南的新船百餘號首先造好，運至金口；九汀江麵上損壞的戰船亦告修複。6月，楊載福在嶽州也造成大批戰船，開赴金口。其規模較原來的大船隊伍還要整齊，力量也大得多。
這期間，江內水師也增加了戰船、解決了供應和軍餉。開赴湖口，攻擊湖卡。7月，湖內水師統領蕭捷三在湖口戰死，曾國藩調彭玉麟從湖北趕往江西。彭玉麟此時正在湖南省親，聞命啟程，扮作商人穿越太平軍控製的地區，步行數百裏趕到江西南康府接任水師統領任。自此以後，湘軍水師正式分為內湖水師和外江水師，分別由彭玉麟和楊載福統帶，成了湘軍水師的定製。
太平軍為適應湘軍的水戰，便在九江設立船廠，製造戰船。至鹹豐六年三月(1856年5月)，製造戰船數百條。曾國藩生怕太平軍水師強大，命令楊載福侍機殲滅之。太平軍水師難抵湘軍外江水師的力量，避而不戰。楊選300死士衝入太平軍水師營中，把他們的船隻全部燒毀，長江水域又全部為湘軍水師控製，曾國藩的努力終於沒有徒勞。
曾國藩恢複陸師的努力就不像整頓水師那麽容易了。
湘軍的陸師主要是塔齊布、羅澤南、李元度幾部。塔部力量最強，增達萬餘人，羅澤南部約是塔部的一半。李元度的力量最弱，隻有4營2000餘人馬，李是曾國藩的幕僚，一身人習氣，治軍不嚴，訓練無方，戰鬥力很差。所以，湘軍陸師勁旅，主要是塔齊布、羅澤南兩部。
湖口戰後，鹹豐帝仍逼令曾國藩圍攻九江，曾國藩便集中塔、羅兩部日夜進攻。豈料林啟榮對九江的守衛十分堅忍，無論曾國藩如何攻打，九江仍堅如磐石，巋然不動。湘軍士卒損傷慘重，一無進展。當此困難之時，羅澤南向曾國藩提出了放棄九江、爭奪武漢的戰略計劃。他認為長江沿岸數城，武漢為首，九江隻是腰部，隻有占據武漢，控製其首，才是奪取長江流域的正確方案。堅持圍攻九江，即使攻取，武漢在太平軍之手，敵人順流而下，終難堅守。
曾國藩認為羅澤南的提議是十分正確的，去年湘軍攻下武漢，鹹豐帝勒令他離武漢而攻下遊九江等城，他給鹹豐的奏折中也是這個意見。可惜鹹豐帝不聽他的主意，造成武漢丟失，進攻九江無功的被動局麵。然而，實際上，他的湘軍隻有塔、羅兩軍，兩軍合起來尚攻不下九江，若羅澤南再離他而去了武漢，湘軍的力量就更孤單了，所以曾國藩沒有放羅澤南去武漢。但是，曾國藩反複考慮，羅澤南的戰略計劃的確重要，羅澤南又反複申請、說明，終於使曾國藩同意他率兵去武漢的請求。正在這時，塔齊布因久攻九江不下，勞累、憂憤於七月十八日(8月30日)嘔血而死。曾國藩太傷心了!這是一個知恩圖報，忠心追隨他的一個一心一意為湘軍建設建功立業的大將，他是湘軍大將中唯一的滿員，正可以作為滿漢聯合，以消除朝野猜忌的典型代表。如今，竟犧牲在戰場上，等於湘軍損折了一個通梁大柱，等於曾國藩折斷了一條大腿。曾國藩怎能不傷心膽裂!他幾天寢食俱廢，在塔齊布的靈前飲泣不止。他為塔齊布寫一挽聯：“大勇卻慈祥，論古略同曹武惠；至誠相許與，有章曾薦郭汾陽。”本來曾國藩建設湘軍，自比郭子儀，匡複清朝，現在他把塔齊布比作郭子儀了。他向鹹豐奏明塔齊布的功勳，鹹豐親旨悼念，照將軍例賜恤，予諡忠武。
塔齊布死後，曾國藩把他的軍隊撥出1500人交羅澤南率領去了武漢。其餘部隊遵照塔齊布的遺囑，交由周鳳山指揮。此後，周鳳山的部隊成了湘軍主力，仍繼續圍攻九江城。
羅澤南則於鹹豐五年九月(1855年10月)從江西南昌府義寧州出發，連下通城、崇陽、蒲圻、鹹寧，11月初攻抵武昌城下。羅澤南的援救武昌，使清政府在武昌的攻戰形勢發生了變化。太平軍再次攻克武昌後，胡林翼被任命為湖北巡撫，這個職位曾授予曾國藩而又被鹹豐收回，這次又授給胡林翼，胡也是漢人，說明鹹豐帝在危急之時不得不放權了。
胡林翼見湘軍主力羅澤南到來，自然如得救星。他主動與羅配合，從不以屬下相待，軍政事務皆與羅誠心相商。即使對羅的部將李續賓、李續宜兄弟也同樣相敬如賓。羅軍到達後，胡林翼把湖北綠營淘汰，以羅軍為骨架，大量向湖南募軍，按曾國藩湘軍的軍事製度進行編練，成為長江上遊的一支極為強大的部隊。
經過此番調整，湘軍的實力更加雄厚了。水師力量的加強是明顯的，陸師力量留在江西由曾國藩直接指揮的部隊比原來減弱了一些，但羅澤南部開赴湖北，胡林翼以這支湘軍為主體不斷擴充，使這支部隊的力量不亞於曾國藩親自指揮的陸師。胡林翼原為曾國藩的部下，他的軍隊主力是曾國藩的部隊，他與曾國藩關係密切，在“中興名將”中地位與曾國藩相埒，被人稱之為“曾胡”。他們的部隊一在長江上遊，一在長江中遊，相互照應，互為犄角，成為太平軍的兩個死對頭。在以後鄂、皖、贛、湘數省的作戰中，曾、胡兩軍相應契合，是太平軍的主要敵人和失敗的主要原因。
自羅澤南率軍赴鄂、塔齊布戰死之後，曾國藩久攻九江不下，是他成軍作戰以後最困難的日子。王闓運的《湘軍誌》記載這一段情景時說：“其在江西時實悲苦，令人泣下。”曾國藩給鹹豐帝上奏中有語：“聞春風之怒號，則寸心欲碎，見賊船之上駛，則繞屋彷徨”，“餘昔久困彭蠡之內，蓋幾幾不能自克”。但是，由於他的堅忍奮鬥，居然扭轉了困局。
他困難的一個方麵是太平軍在江西發動了猛烈攻勢。
石達開留韋俊在武昌據守，與胡林翼、羅澤南周旋；林啟榮在九江城扯住了周鳳山的兵力；他自己則率兵聯絡江西的天地會，開展了淩厲的攻勢。石達開於鹹豐五年十一月(1855年12月)由湖北進攻江西，連克瑞州、臨江、袁州，圍攻吉安。曾國藩見狀隻得放棄圍攻九江，急調周鳳山回援江西。周部撤圍九江，於鹹豐五年十二月(1856年1月)攻占樟樹鎮、新淦。但是，到底是救吉安，還是守武昌，曾國藩舉棋不定，石達開見來援湘軍駐兵樟樹鎮而尚在猶豫，乃下令全力進攻吉安，於鹹豐六年正月二十五日(1856年3月1日)將吉安攻陷。曾國藩此時駐於贛北南康府，聞吉安被攻破，令周鳳山堅守樟樹鎮，認為此處西近瑞(州)、臨(江)，東接撫(州)、建(昌)，為贛江沿岸重鎮，省城南昌的咽喉。石達開兵破吉安，必然北犯省城，占領樟樹鎮，則可以逸待勞，堵擊太平軍。曾國藩為守樟樹鎮，還急令內湖水師彭玉麟率船隊師出青嵐湖，由武陽水過三江口，駛入贛江，南下樟樹鎮，與陸師配合，防守樟樹鎮。
不久，石達開果然率兵由吉安北上進攻樟樹鎮。周鳳山指揮湘軍據城大戰，不敵而棄城逃走，二月十八日(3月24日)樟樹鎮為太平軍占領。曾國藩聞訊，由南康動身去南昌城收拾潰兵。
石達開指揮太平軍在江西奮勇作戰，控製了整個江西的絕大部分地區，江西共計13府，被攻占8府54州縣。曾國藩困守在南昌、南康兩個狹小的地區，被太平軍緊緊封鎖，不僅報不通，連家信都難以通達。秘密化裝潛遞者也多被抓拿，一時被捕殺者達100多人，湘軍被太平軍圍困得“士饑將困，窘若拘囚”。
正在曾國藩岌岌可危之時，楊秀清忽調石達開去天京參加進攻江南大營的戰鬥，才使曾因藩在軍事上稍稍鬆了一口氣。便掙紮著恢複江西的軍事實力，他把樟樹鎮等戰役潰敗的軍隊重新編排，湊成兩支軍隊：一支約3500餘人，由黃虎臣率領；一支僅千餘人的隊伍，由畢金科率領；又讓江西糧道之子鄧輔綸新募2000人馬，與李元度合為一軍。總計軍隊約有萬餘人，但戰鬥力卻較差，尤其缺乏將才。便想把增援武漢的羅澤南調回，趁石達開離開江西的時機，奪回失地，挽回江西的危局。羅澤南接到曾國藩的告急信感到很為難，當時他正擔任爭奪武漢的軍事主力，若撤離武漢，將前功盡棄。他決定加緊攻城，攻下武漢後立即回援江西。
結果，因求功心切，猛打猛衝，被太平軍槍擊頭部，於三月初八日(4月12日)死在軍營。死前，給曾國藩留遺信一紙，哀淒悲涼，追述辦湘軍南北轉戰之苦。進言讓曾國藩重任彭玉麟、楊載福、王錱等人，尤其要起用左宗棠。並進一步介紹胡林翼的大度，一定要同他合為一軍，方能定兩湖大局。遺囑自己死後，其部湘軍由李繼賓統帶，等等。
曾國藩的求援信落到胡林翼手中，恰在此時，曾國華也帶著曾麟書的請求讓胡援助曾國藩。於是，胡林翼便分兵5000讓曾國華統帶，急馳江西。此時，駱秉章也派出劉長佑、蕭啟江5000人馬由萍鄉、萬載入江西，增援曾國藩。曾國荃、王錱又各率數千人馬馳援。這樣一來，江西的湘軍和綠營軍一下子增到數萬人。這些軍隊在江西四處進攻，先後占領瑞州、袁州、臨江、安福等地，湘軍在江西的形勢好轉了。
曾國藩在江西的困餒不止是軍事，更大的苦處是清廷一直對他不放心，怕他的力量太大，尾大不掉。湖北巡撫之職寧給胡林翼，也不肯給他曾國藩，使他率兵三四載一直處於孤懸客處之地位，用兵、用人、用餉無處不難。因此，他常自比於東漢時的楊震，落得個可悲下場。
正因為清政府不肯向他放權，使他在江西最大的痛苦，是處處受到地方官的排擠和刁難。鹹豐五年八月(1855年9月)，曾國藩丁憂服闋，補授了兵部右侍郎，仍沒有欽差之銜，地方官仍是輕視他，他在江西用兵，軍餉要江西地方出，地方官總認為他並非國家正規軍，為湘軍輸餉認為是額外負擔，不肯出餉。曾國藩軍隊缺餉，隻能自己籌措，也受到地方官的抵製。他無能為力，隻好向朋友求助，幸賴劉於淳、甘晉等人主持捐資，支持部分款項，慘淡度日。在籍刑部侍郎黃讚湯。曾捐助曾國藩80餘萬兩，使曾國藩感激萬端，終生念念不忘。
尤其令曾國藩氣憤的是，江西巡撫陳啟邁是他的同鄉，又與曾國藩同做翰林官。湘軍在江西作戰，為陳守土，他應該同舟共濟。但是，他卻處處作對，不僅不合作，不輸餉，連用地方一人也不許。例如：當時江西萬載舉人彭壽頤，在地方自辦團練，對抗太平軍。曾國藩欲調此人入湘軍，陳啟邁不僅沒接受曾國藩的請求，還借口彭壽頤曾不受地方官約束，至衙門鬧事，把他捕拿，投入監獄。
曾國藩甚為惱怒，將陳啟邁的行事為人寫成奏折，狠狠地向鹹豐告了一狀。鹹豐對江西巡撫本來就不滿意，因為江西一省疆土，被太平軍幾乎占光。如今曾國藩告他，便準其所奏，罷了陳啟邁的官。
陳啟邁雖去官，繼任的俊對曾國藩的排擠更甚。不僅不給供餉，還使他的一支湘軍全軍覆沒，害死了他的一員猛將畢金科。
樟樹鎮敗後，湘軍一支由塔齊布的舊部畢金科率帶。畢驍勇異常，率部與太平軍作戰，凶悍無比。但畢軍餉奇缺，軍隊常餓著肚子打仗。鹹豐五年(1855年)底，地方官得到江西巡撫俊的授意，竟以軍餉作誘餌，逼迫畢金科進攻景德鎮。景德鎮是贛、皖、浙三省交通樞紐，太平軍有重兵把守，堡壘堅固。畢金科隻有千餘湘軍，又饑又疲，但是為了得到餉糈，不得不冒險進攻。結果，反複苦鬥，直至全軍覆沒，畢金科也喪命於景德鎮城下。曾國藩對此事耿耿於懷，直到4年以後，曾國藩率部攻陷景德鎮，在畢金科戰死之處立碑紀念，親為撰寫碑，痛悼當年犧牲的這員大將，同時揭露江西官員的排擠、嫉恨，碑十分淒婉、動人。其中有：“內畏媚嫉，外逼強寇，進退靡依，忍尤叢詬”之句，說出了曾國藩在江西幾年的困難處境。值此困難處境，曾國藩曾想要撒手不幹了，他想：這到底是為什麽?自己以一個回籍的官，衝破重重阻礙創辦湘軍，在兩湖、江西苦苦地戰鬥著，打贏了仗是別人的功勞，打敗了仗“幾乎通國不能相容。”自己為國苦戰，要權無權，要糧無糧，處處受到排擠、打擊，被逼自殺就好幾次了。思前想後“遂致浩然不欲複問世事”。由於好友劉蓉等人的百般勸說，他才勉強堅持著。