张煌言在鲁王病死后，对前途感到完全绝望。他始终是一位抗清志士，而不是一个独善其身的人。何况他对郑氏父子的所作所为常有异议，所以没有像其他一些官绅那样跟随郑氏移居台湾，满足于保住先人衣冠头发。复明运动的旗帜既已不复存在，继续同清军作战也就失去了意义。1664 年（康熙三年）六月，他下令解散自己部下的军队，只留下几个亲信居住于人迹罕至的悬山花岙，这是个距离舟山不远的孤岛。由于岛中不产粮食，日常所需不得不以寺庙和尚的名义前往舟山购买。清浙江提督张杰从降将处探知张煌言藏身于附近海岛，就派遣兵丁潜伏于舟山的普陀、朱家尖一带，不久果然截获了张煌言的购粮船，当即利用所获船只连夜赶往花岙。