但赵昀一意孤行，派兵进入中原故地。后来果然如吴潜所料，宋兵溃败。 吴潜又应诏上陈九事， 因为太过直接，他得罪了丞相郑清之，不久就遭到弹劾，改秘阁修撰并罢奉千秋鸿禧祠。之后他任太常少卿、知镇江府事。吴潜奏请减小斛斗的容量，减免租税，让民休生养息等十五事。由于之前直言上谏反而遭贬，吴潜萌生退隐念头，他五次请辞，都未能得到允许。
丞相郑清之提出用"计亩纳会"的方法回收会子，袁甫建议朝廷只向官户和寺观征会。吴潜连奏急疏反对征大户，他说这一方法是剜心肉以救眼创，拨根本以扶枝叶， 纵然纸币可以升值，但是大户官家和寺观也会因为损失而对朝廷不满，加深矛盾。
窝阔台派三路大军攻宋，对襄阳形成了一个包围圈。吴潜预到形式的严峻性，他以督府参谋官的身份向赵昀写了一篇长疏《论和战成败大计，襄宜急救，备不可缺》，指出襄阳危在旦夕，根据以往的经验，双方和议就指日可待，求和则遗害无穷，所以他反对议和，建议朝廷大力支持魏了翁督府。
吴潜到采石谒见魏了翁，魏了翁有感于吴潜的才能，上奏请求让吴潜暂时留在幕府，协助自己。魏了翁奏请得以通过，吴潜转赴九江，留在魏了翁的幕府参谋军事。因为赵昀之子早逝，国无储君，吴潜上奏请赵昀养宗室子弟为儿子，从而稳定人心。
嘉熙元年正月，吴潜代理兵部侍郎并兼检正。 这年夏，吴潜奏请急救襄阳，又要求朝廷须大力支持督府。但是朝廷没有采纳他的合理建议，致使蒙古军突破京湖防线，攻克襄阳，湖北九郡相继陷落，蒙古军直逼江陵，饮马长江。 吴潜组织义军，夜渡长江，协同攻击蒙古军，蒙古军只得引兵北还。 后来他改任知
（本章未完，请翻页）
平江府，上奏请兵部调拨粮款，派遣福建民船，招募精兵，防守江海要塞。
嘉熙二年，吴潜任知太平州、措置采石江防、淮东总领财赋。他提出国家财力要"放水养鱼"，反对竭泽而渔。 接着他代理户部侍郎，知镇江府。提出要团结江淮民众，就要用知晓地情者。在宋蒙交界，他组织民丁壮兵进攻蒙军营寨，屡屡获胜。在浙江沿海地区，调度屯边水兵，积极应对倭船行动。在嘉兴，吴潜严禁私铸铜钱流通，积极以官铸铜钱收兑贬值交子，限制发行额，屡获成效。
淳佑元年， 吴潜进工部尚书，改吏部尚书兼知临安府事。他再三推辞，赵昀不允。次年，吴潜再次建议在皇族中慎选太子，及早培养，以安人心。赵昀欣然采纳，让吴潜兼侍读经筵，授华文阁学士、知建宁府。台臣言吴潜在建宁府有三罪，于是赵昀下诏夺职，贬吴潜为提举南京鸿庆宫。
淳佑六年，吴潜转翰林学士、知制诰兼侍读。改端明殿学士，签书枢密院事，进封金陵侯。淳佑九年十二月，吴潜拜同知枢密院事兼参知政事，开始参与朝中最高机务。郑清之死后，朝廷任命谢方叔为左相、吴潜为右相，但两个丞相之间权责不明，遇事推诿。 这让赵昀对谢、吴二人并相有所担心，故而以御笔告诫谢、吴二人及其他宰执，不要出现朋党交争的情况。
仅上任两个月的吴潜推辞整顿楮币的任务，奏请让谢方叔总管此事，徐清叟、董槐协助，他自己只管跑腿做事，不负其责。谢、吴二人的矛盾因言官弹劾而明朗化。李伯玉弹劾萧、谢没有成功，反倒使自己和吴潜被罢免。吴潜被罢免后，居在宣城响山，种竹筑堂，吟咏自适，与词人刘震孙相唱和。
宝佑四年春，吴潜以观文殿大学士授沿海制置大使、知庆元府。吴潜在庆元三年，勤政爱民，兴修水利。订立《义船法》，广征民间船舶充作战船。修洪水湾塘三坝，外泄江潮，内增官池蓄水，为阻隔江河之巨防，成为它山堰的重要配套工程。另修吴公塘、大西坝、北郭碶、澄浪堰等工程，惠泽万民。 同时吴潜采取措施，使财政大幅增加。
蒙古军进攻鄂州，京师震动，丁大全罢相。危难之际，赵昀起用吴