因为打泉州的目标早已定下，因而撤军众臣并不意外也不反对。而最难的一项还是如何安排撤军，撤的快了，放弃城外的工事，就会使城防压力加大，造成不必要的恐慌；撤的慢了便很可能被敌所乘，将撤退变成了一场溃逃，弄得虎头蛇尾，且会影响到移民计划。因此撤军的节奏并不好把握，而无端的便放弃还会影响到军民的士气和对行朝的信心。
几经商讨，大家定下一个大概的时间表，四天后返回的船只将抵达港口，因此在这期间相机撤离第一道防线，以为第一批军眷的撤离造势，并在两日内完成动员，在下一批回返的船只回来的同时赴琼。然后再进入下一个循环，将工匠撤出。最后全军撤入城内，依托城墙完成最后的撤军任务。而这期间守住晋江和海路，保持水路的畅通将是要任务。
在朝议后的第二日晚上，元军趁无月起了一场大规模的夜袭，宋军苦战至黎明，终于不支退守城外第二道防线。本来这一战是元军取得的第一次胜利，可是唆都却高兴不起来，他们冲进后却现宋军不仅带走了所有的武器装备和伤员，连具尸体都没有留下，甚至还以火药炸平了筑起的高台，让他们只得到了一片不敢驻足的死亡地带。
不过宋军的第一次失败却在泉州上下引起了极大的震动，城中驻留的军眷开始纷纷采购生活用品，似在做撤离准备。而这些军眷来自泉州各县乡，与逃进城中的百姓难免有沾亲带故的，使他们不难获得真相。原来军中有消息流传，说元军从江西路和广南两路增调的援兵已经赶来，为了防止被敌军切断后路，朝廷已经下令将城中的军眷全部撤往琼州，以免遭敌毒手。
而百姓们还打探到为了安置这些军眷，朝廷也做出了极大的努力，不仅答应每户先给二十贯的安家费，到琼后优先按口分配良田，并免除徭役，减免税赋。据消息灵通人士说，琼州经小皇帝大力开后已非像过去的荒蛮之地，如今修通了环岛的驿道，还开垦了大批的良田，且粮食可一年三熟。物品供应也十分丰富，物价平稳，白米一石只要九百文。更令人羡慕的是琼州上下清明，治安良好，还没有苛捐杂税，确是安居乐业之所。
对于这些小道消息，有人羡慕，有人嫉妒，更多的人却是不相信。觉的朝廷不可能拿出这么多的钱去安置他们，因为这是从未有过的事情，而朝廷弃他们而去的事情都是做了不少，所以大家都在观望，希望朝廷能守住泉州，并留在泉州。说心里话，大家还是很希望皇帝能留在泉州的，起码这些日子以来，大军秋毫无犯，买卖公平，作奸犯科者皆受到惩处，而老百姓的要求也就这么点儿吧！
但是流言很快变成了现实，有新入城的百姓称现在大批元军正向泉州涌来，他们沿途征收粮草，抓丁征夫，时常还有乱兵抢劫，**妇女，他们都是为了避乱才逃入城中的。而城中的军眷却开始离城，在城外的港口登船后前往琼州，逃离了这危城。而宋军也开始加强城防，收集滚木礌石，搭建战棚，把弩炮都摆上了城头。城外的驻军也纷纷入城，换下了此前维持治安的水军，据说敌水军也前来助战，他们都重新上船，参加巡航保护水道去了。
接下来几天，城池虽然未丢，但形势愈紧张，城外的元军越聚越多，连营十数里，旌旗蔽日，刀枪如林。他们依仗雄厚的兵力连日攻城，迫使宋军全部退回城内，并拆除了架设在晋江上的浮桥，粮食也开始实施配给，从每次放三日粮食，改为一日一。朝廷此时再次布公告，称琼州现在缺少工匠，有一技之长者可以携带家眷前往，待遇参照先期前往琼州的军眷执行，但是不再优先配给田地，只提供住房，保证安置工作。
现在谁都知道鞑子凶狠，攻破城池后往往会屠城，但是会赦免工匠。不过虽然能保住性命，可同样十分悲惨，大多数人都会随军出征，承担制造武器和器械的繁重工作，而待遇却是极低，与奴隶无异，能活下来的十不足一。琼州虽然也是传说的险恶之地，总归还在大宋治下，行朝所在，总不会无辜丢了性命。于是很多工匠纷纷报名前往，当他们现审查并不严格后，一些人也试着冒充工匠希望也能赴琼，却也轻易的通过了……
“陛下，还是转移到船上吧！城池已经在敌抛石机的覆盖范围之内，这样太危险了。”应节严匆匆进府求见陛下，寒暄几句后言道。
“朕现在还不能走，一定要坚持到最后，否则军心就乱了。”赵昺坐在湖边，只穿着件汗衫，双脚泡在水里踢腾着道。
“陛下，现在城外的敌军已经不下十万之众，决战已是迫在眉睫，已经不能久驻了！”应节严看陛下丝毫不在意的样子，只能板起脸道。
“局势展的太快了，现在城中尚有百姓未能撤走，返航的船只还要三天才能到，我们是不是要动一次反击，以延缓敌军的进攻！”赵昺停下脚，扭脸问应节严。
“陛下，文相已经在组织善后了，自撤离开始先后已经撤离百姓七万余口，现在尚有二万多百姓要求随军撤离，加上各部军马及剩余的物资，尚需四百余条大船，这确实出了我们的估计。”应节严言道，“不过现在动反击，臣以为尚不是时候。一者，敌兵锋正盛，不易于正面野战；二者，当下正是撤离的关键时刻，还是严防死守恰当。”
“嗯，先生说的是，但是任敌妄为，对城防压力也很大。”赵昺点点头道，“朕接到消息，唆都暗中令人在离城十里的晋江上修筑堤坝拦水，估计是忽必烈逼得紧，他是想以江水灌城。”
“哦，还有此事。不过陛下不要担心，现今并非大潮，也非荣水之时，即便他们建坝拦水积蓄的江水也自会沿江下泄，漫不过江岸的，只是对巡江的战船或有影响。”应节严思索片刻道。