他有在他那个地位上的想法。他的职位是两江总督，太平天国之前，两江总督的驻扎地是南京，太平天国把南京变成天京后，两江总督多驻常州，这是个好地方，一方面可利用江南财赋支持江南大营，一方面又可把粮食运往北京。可现在，常州已成了太平天国的地盘。整个江南几乎都成了太平天国的地盘，中央政府和江南的地方官员、士绅都希望他即刻来拯救江南。如果他出祁门，给人的感觉就是他要拯救江南了，但他此时唯一的目标只是安庆。
在和幕僚们闲聊、正式开会了多日后，曾国藩发现，自己的坚持应该放弃，因为祁门的确是险地，一旦再度被围，就没有上次那么好的运气转危为安了。
出祁门前，他重申自己的执意：出去后先打安庆，江南的事，等等。
幕僚们说：“只要能出这个绝地，先打哪里都成，让江南等上一百年又有何妨？！”
1861年4月，曾国藩拔营，湘军秩序井然、斗志昂扬地离开祁门，离开了不堪回首的痛苦之地，走上了安庆战场。