李文忠在自己的大营亲自会见了“五太子”。大家都是聪明人，李文忠也没有跟“五太子”多绕圈子，直接说明了请他来杭州的用意。
“五太子”现在是俘虏的身份，既然李文忠派人接他来杭州，他还能有什么话说呢？这去说服潘家兄弟，他肯定是无法推辞的。不过，“五太子”还是事先跟李文忠言明，他只承认说降，但不确保能够成功。
李文忠要的就是他这个态度，只要他愿意去说降，那就是好事。对于潘元绍、潘元明兄弟，李文忠还是做了些功课的。
潘元明虽然打仗是把好手，但也不是什么忠肝义胆之人。那潘元绍就更不消说了，一个十足的贪生怕死之辈。如果连张士诚的养子都来劝他们二人投奔西吴，潘元明不好说，但潘元绍必然心动。
只要搞定了潘元绍，潘元明也不会傻到一个人在杭州城内死撑。
想清楚了这些，李文忠对“五太子”的劝降工作，还是信心十足的。
按照李文忠的部署，第二天便安排“五太子”先在杭州城下与潘家兄弟喊话。
潘元绍、潘元明听兵士来报，说是“五太子”在城下要与他们二人对话，立即是爬上城头。
就这样，潘家兄弟在城上，“五太子”在城下，短短几个月时间不见，没想到现在大家已各为其主。
“五太子”告诉潘家兄弟，他义父张士诚现在只剩下苏州、杭州两块地盘了。虽然这两个地方，城池还算坚固，粮食、物资储备也算丰富，兵员也算齐整，但是，架不住人心思变呀！
先是嘉兴投诚，后有湖州出降，这都是为什么？
因为在大多数人的心中，和平、安稳才是最大的幸福，大多数人都是不想成天打打杀杀的。如果有一个和平解决问题的方式，他们都是不愿意放弃的。
现在摆在你们兄弟面前的，只有两条路。要么死守杭州，要么出城投降。
第一条路，且不说能不能成功，那至少得牺牲千千万万条将士的性命。我想，这是许多人都不愿意看到了。
至于第二条路，至少可以让杭州城内的军民少受战乱之苦。
站在你们兄弟的立场，走第一条路，如果成功了，无非就是守城有功。况且这种成功的机率是相当小的。你们不妨想想，连吕珍、李伯升二人都不是西吴军的对手，你们两兄弟比他们二人又如何？
如果走第一条路失败了，你们兄弟的下场也不用我说了，你们自己心中明白。
如果走第二条路，西吴也绝对不会亏待你们。嘉兴的宋兴投诚之后，西吴仍让其统领旧部。吕珍、李伯升投诚之后，二人也带着自己的人马归入徐达麾下。
就是我，一个张士诚的养子，被俘之后，他们也没有任何亏待我的地方……
城下的“五太子”说得是滔滔不绝，城上的潘家兄弟也是听得心潮起伏。西吴连“五太子”都容得了，怎么可能容不下他们潘家兄弟呢……
“五太子”几乎是把该说的话都说遍了之后，只好告诉潘家兄弟，让他们回去好好琢磨琢磨，希望大家都够就此化干戈为玉帛。
不得不说，“五太子”的一番话在潘家兄弟心中掀起了不小的波澜。而一些当时在场的兵士，更是被“五太子”的话深深地感染了。西吴军连“五太子”都没怎么样，他们要是投降过去，有什么好怕的。而让潘家兄弟更为被动的是，兵士们的这种思想迅速在军中传播起来。
由于形势所迫，潘元绍、潘元明兄弟没有做过多的犹豫，便率杭州军民投降了。李文忠拿下杭州的消息迅速传到了应天，朱元璋得此捷报，大为高兴，他立即加封李文忠为荣禄大夫、浙江行省平章政事。
朱元璋让李文忠在杭州迅速整肃军队，在年底之前，投入到围攻苏州的战斗中来。
与此同时，朱元璋还给李文忠下达了一道令他十分为难的命令，那就是将谢再兴兄弟及其子侄押送回应天。
站在朱元璋的立场，他可以宽容吕珍、李伯升、潘元明、潘元绍等降将，但他绝对容不下谢再兴。这个他曾非常信任的老兄弟、这个昔日的亲家，怎么能够在自己最困难的时候，选择背叛自己呢？
朱元璋要求押送谢家人回应天的消息很快在杭州城传开了，但李文忠并没有立即执行这道命令。毕竟当初可是许下了毒誓的，这会儿可怎么跟谢再兴开口呢？绝世唐门
就在李文忠不知如何是好之际，谢再兴主动登门求见，这可是让李文忠大感意外。
谢再兴没有废话，直接问李文忠，你打算怎么办？
李文忠低着头，有些不敢看谢再兴。军令如山，如果不押送谢家的人回应天，你就相当于违抗军令。如果将谢再兴他们押送回应天，估计就是将他们送上了断头台。
李文忠实在是难啊！正是因为如此，谢再兴盯着李文忠看了许久，也没从李文忠口中得到任何答案。
见李文忠也没了主意，谢再兴仰天长叹了一声，说道：
“李将军，当初反叛之事，都是因我谢再兴一人而起，今日这个后果，也应该由我谢再兴一人来承担，此事与我谢家的其他人并无干系。
这一次，我希望能用我的这颗项上人头，在吴王面前赎回昔日的罪孽。恳请李将军将我谢再兴的人头，以及我亲笔写的伏罪书呈交给吴王。至于杭州军中我谢再兴的兄弟子侄，还烦请李将军在吴王面前多多进言，给他们一条生路。