福建省远离北京，朝廷鞭长莫及，沿海地区自古就海盗猖獗。吴家需要向台湾运盐，为了避免船只被海盗劫持，祖父平日里与海盗头目有来往。海盗常会传信来说：“在某日某时某地放某个数目的钱。”祖父按照指示放钱后，钱在第二天就会被海盗拿走，而船只的安全也有了保障。这对于出钱的一方来说，好比是过路钱。祖父也曾受海盗邀请而前去赴宴。来接应的人蒙上祖父的眼睛，把他送到宴饮之地，祖父受到极为丰盛的款待后，又被蒙着眼睛送回家。那是个豪迈而豁达的时代，与现在不同。