而后数日，石达开多次围攻衢州，都被周天受、江长贵所部清军败北，寸步难行。
石达开这时身边并没有太靠近的将领群情战事，内心的苦闷无处可诉，这时家人便是他战役的最后动力，他隔了好一会才闷闷地对黄氏说道：“浙江的仗打不下去了，每次弟兄们冒死猛攻，目睹冲出来了，无法妖军奸刁，城里又挖了一道壕沟，挡住了来路，重新又把缺口堵住了，倒是死伤了很多弟兄。我军湖口大捷光复武昌的时候，所向无敌，一座座城池的光复，的确不消兵戈。为甚么这回从安庆出师，在江西打得很吃力，到浙江来，几万雄师拿不下一座衢州城，究竟甚么原因，我实在想不透。莫非是我老了？本来我想打下浙江，让你们娘俩过几天安生的日子，看来还得要一段时候。我已命令退兵了，明天就退出浙江，你归去清算一下。”
石达开冷不防清军另有这两支步队，他的雄师被冲成几段，死伤惨痛，不得不鸣金收队。
这时，冯日坤悄悄率一起清军抄石达开后路，林保率队从旁突入。
黄氏问道：“福建那处所又苦又穷，去哪儿享福干吗？”
固然石镇吉军事上获得了胜利，但因为违背了石达开的军令，石达开并不欢畅，只是碍于战事吃紧，没有发飙。
周天受节制徽州、浙江清军，饶廷选会同策应，两大悍将号令数万清军开浚城壕，密钉桩篾，架设火炮，斗志昂扬。
石达开兵败以后，并没有当即退走，他这个疆场老将，意志力也是相称固执的，胜负乃是兵家常事，更何况他另有别的五路人马能战。很快，石达开再次纠集了五万人马，打击衢州。这一次，石达开汲取前次兵败的经验，严厉军纪，集合火器打毁灭战。
石达开退兵到衢州城西南四十里处后溪镇，将虎帐设在本地一故乡绅宅院里，表情降落。当时石达开另娶了五个妻妾，生了几个孩子，这宅子房屋不敷用，石达开侍从官员和侍卫亲兵便分离在镇上祠堂、商栈、民宅中办事留宿。
时近春季，夏季的余威犹在，院中两棵蔽阴的香樟树枝叶纹丝不动，知了在树上叫得民气烦。傍晚，石达开畴火线督师返来，浑身大汗回到客堂，只是喊热，小妾刘氏、马氏从速过来为他撤除袍帽短衫，赤了膊，侍女端来一盆井水，绞了手巾把子，由马氏替石达开擦了身，换上洁净的白纺绸衫，然后与刘氏退了下去。另一名侍女切了一盘西瓜捧了出去，是用吊篮放在井中凉却的，石达开的正妻黄氏陪他着西瓜，看他懊丧疲累的神采，体贴肠问：“明天又交了一仗吧？如何样？”
清军四周受敌，被逼入绝境。朝廷飞檄衢州江长贵、九江李定太、文瑞等援浙，稍后，曾国藩调湘军悍将李元度率平江勇赶至浒津岭救济。
石达开叹了一口气，说：“江西回不去了，九江、抚州、建昌都被曾妖军夺去，林启容战死九江，吉安城也被攻破，我决定去福建。”
石镇吉见周天受对石达开打算洞然于胸，龙游已经有清军戍守，因而临时窜改石达开摆设，在龙游佯攻数日，转偷袭空城遂昌，稍后，石镇吉轻取松阳、处州府城，兵锋所指，浙中一带无不惶恐。
那天早上，晨雾还未散去，清军的大将张腾蛟和饶廷选合兵迎战石达开部。
本地那些团练是本地人，熟谙本地环境，并且保故乡特别卖力，湘军如虎添翼，终究在祈门遏止住常山、野蛮攻来的石达开部的承平军。