不久，前去传令的承宣官从连城返来对石达开说：“国宗不肯返来，说是此身固然在外，却不敢涓滴叛变翼王，反可管束妖兵为殿下一臂之助。在连城国宗虎帐中，贵生兄弟也在那边，他也不返来了。”
石达开沉默了一会，昂首对外甥黄贵生说道：“贵生，不要绝望！你说的很有事理，今非昔比，我也感到很深，经常细细考虑，确如你说的那样，昔日我军的上风现在都成了优势，如何能打败仗？一支支新的湘军不竭在冒出来，我们变弱了，他们变强了，此后的仗是更加难打了，我不想再逐鹿中原，我们避开妖军主力，到四川去生长吧。那边是天府之国，地广民富，三国的刘备，五代十国时有前蜀王建，后蜀孟知祥。我石达开不能争霸中原，还不能盘据四川称王称帝吗？我筹算撤出邵武，南下闽西南，然后从长汀进入江西南部，再往湘南，转往湘西进入四川，你们下去筹办吧。”
屋漏偏逢连夜雨，此时曾国藩率湘军张运兰、朱品隆部的一万七千湘勇赶到，他们的战役力比清廷绿营兵强多了！
石达开的外甥黄贵生劝他回江西去：“我们还是回到江西去吧，杨辅清不是转移胜利，到了景德镇了吗？不要踌躇了，也走铁牛关这条线路北上吧。”
石达开的部下开端悔怨误信其三寸不烂之舌，走上分裂线路的死路。杨辅清返回天京，仍然遭到重用，这给了他们很大鼓励，因而石达开的兵将开端大范围的出走：胡其相率多量精锐离开石达开，欲转入江西，却被湘军张运兰部截杀，无法投降，张运兰择胡其相部精干全数殛毙；杨再田与胡长佑、张运兰连日血战，不敌，遂离开石达开连夜遁逃；林彩新也率花旗军离开石达开；最为严峻的是，石军头号骁将石镇吉兄弟遭湘军围攻，伤亡惨痛，遂撤退至闽西南，自成一军，再不受石达开号令。
1858年，这一年石达开混得太差，厄运到临，他在浙江疆场遭受惨败，靠石镇吉等人拼力血战方幸运逃出浙江，达到福建又靠杨辅清打下的按照地才勉强居住。但石达开不但未存感激之情，反而因天王洪秀全的诽谤而妒恨石镇吉、杨辅清，意欲篡夺他们的兵权，导致杨辅清率部杀往江西，返回天京，石镇吉也心生了去意。
第二天，石达开的雄师撤出邵武城，冲破了清军的围攻，经闽赣鸿沟武夷山区的泰宁、宁化等县而达汀州府城长汀县。一起上山雨绵绵，山路泞滑，粮食完善，士卒饥困狼狈，怨声载道，除了战死以外，因饥饿而倒毙山径沟壑的也不时可见，军士离心的征象更加严峻了。石镇吉带领胞弟石镇常和部将曹广依等两万多人，仍然远远避开翼王，而自在活动在长汀东边的连城一带。
但是，石达开的宿世朋友曾国藩，却奉清廷之命率部跟了过来，驻兵江西建昌，要盯死石达开！此时，时候已经走到了1859年1月，方才停歇烽火的江西又烽烟四起。
黄贵生到了石镇吉的大营，石镇吉不肯返来了，还劝黄贵生留下：“不是石某无情叛逆！翼王今非昔比，他没有容人之量！并且就凭现在的兵力，我们只能活行动战，打一枪换一个处所，而不能跟清妖抢杭州那样的多数会！并且支撑我们的公众都是乡间贫苦的百姓，我们去城里能做甚么？我已经劝过翼王数次，他就是不听。我只好单干了，道分歧不相为谋吧！”