咸丰十年四月，曾氏被任命为两江总督，当即整军东进；六月，将两江总督衙门驻扎在安徽祁门。就在这时，王闿运又来到曾氏军营。这几年，王闿运积极推行他的纵横之术。他做的最大一件事是来到肃顺家做家庭教师，与肃顺关系密切。但不久，他又离开北京，在山东巡抚文煜衙门过完年后又转回北京，听说曾氏放了江督，遂南下特为拜访。王这次在祁门住了两个多月。此时，曾氏的军威与声望远远超过当年在衡州府初建湘军时。王再次兜售他的蒯通之计。野史上说，曾氏听王滔滔不绝的议论，微笑不语，只用手指蘸茶水不停地在桌面上写字。待曾氏有事暂时离开时，王走近桌面，见上面写着一连串的“狂妄、狂妄”。王只得怏怏离开祁门，临行赋诗二十二首，感叹此次祁门之行是“独惭携短剑，真为看山来”。