其实不仅仅是邴无须，就连李越靖、云箬竹、乐仆伊、孔渠等人都觉得不能在星星湖边长期驻守，确实是有些可惜了。但这次西征的主要目地不是开疆扩土，而是在与秣陵方面决战之前，先解除南越族这个后患，因此“速战速决，不在星星湖驻军” 是在西征之前定下的目标。现在所有的目标都已经达到了，当然就要开始考虑撤军了。
众人也都一致认为，现在的南越郡，确实没有实力在星星湖撤军，因此还是尽早撤军，以免夜长梦得好。唯一有一些麻烦的就是所抓的二十几万俘虏怎么办？如果把他们全都留在这里，等雍梁回来，就可以一下孑多少二十多万人口，尽管都是老弱妇幼，但毕竟基数众多，虽然不会马上就恢复元气，但也能使南越族的损失大大降底。
李越靖道：“我不如把俘虏的南越族民全部都带回南越郡去安置吧。”
邴无须道：“其实把南越族民全都带回去安置，也是过去征战常有的事情，当年杨大将军两次打到星星湖，撖军的时候都带回去了数万族民，现在的南越郡一百五十万人口，有半数以上都是从百族各族掳掠的人口后代，绝大部份族民并无与我们仇恨之意，只要是分给他们房户土地，他们就能够安心耕种，最终归复。就算有人死不安心，但也因为人单势孤，难以成什么大气候。但过去每次只带数万人，最多也不过五六万，而这一次却有二十余万，带回去之后怎样安置，恐怕也是个难题。如果有人心怀不满，聚众做乱，也是大麻烦。”
李越靖道：“我也不算太麻烦，一来这一次西征，我们的军威军力己经震摄了南越族民，就算有人心怀不满，也不一定敢轻易做乱，而且这些俘虏以老弱妇幼居多，青壮男子较少，想做乱也不容易；二来只要是在俘虏安置上动一些脑筋，把俘虏分别安置在四个城里，并且都不集中居住，孤寡女子，全都安排婚配，而把青壮男子都迁到百丈山以北的地方去，这样一来，南越族民分散，互相通信，也就不容易聚众做乱了；三来对这些俘虏要善待一些，给毎人必要的土田房间，能够自给自足，安居乐业，那时就算有人再唆使他们做乱叛逃，也不会有多少人响应了。”
云箬竹也点了点头，道：“我也只能这样了，这么多的俘虏，杀不能杀，放又不能放，也只能全部带回去了，好在是现在南越郡四城都是地广人稀，要安置这二十几万人口还不算困难，只是在俱体的分配上要多动一点脑筋罢了。再说这二十多万人口，如果真能在南越郡安居，也是一件好事。无论我们在南越郡最终的结局如何，对越国也都是有益的。”
其实除了把俘虏都带走之外，也真的没有别的办法了，因此邴无须听了，也点了点头，道：“好吧，公主，我马上进行安排，明天开始，我们就从熊苍山这边开始撤离，先全部都撤回到星星湖的东岸去。”