以诱使明朝撤兵，虽然朝鲜国王极力要求复仇，但明朝内部以兵部尚书石星为首的主和派占了上风，遂与日本和谈罢兵。和谈从万历二十一年三月起，拖延了近四年。3月22日，明使沈唯敬前往龙山同宇喜多秀家谈判，议定日军4月19日退出京城，明军随即进驻。5月2日，侵朝的日军大部分退到了釜山一带。秀吉不甘心就此失败，遂一方面在庆尚、全罗道修了18座城堡，一方面运用外交手腕，派小西如安前往北京递交日本的和谈条件。鉴于日军可能不会再有大的军事活动，明军大半在1593年八月回到国内，只留下一万人驻守朝鲜。李舜臣被朝廷任命为三道水军节度使，掌管了朝鲜全部水军，整饬军队，建造战船。而秀吉也不断地利用谈判时间补充兵力，运送武器给养，以备再战。

谈判一直持续到了1596年9月，日本提出的无理要求，被朝鲜和中国方面拒绝，和议最后破裂。秀吉认为日军已经有能力再战了，但首先他要设法除掉李舜臣。1597年1月，小西行长用秀吉的计策，利用朝鲜的党派之争，派人在汉城散布谣言，陷害李舜臣，结果李舜臣被捕入狱，被押送到京城。得知反间计成功后，秀吉立刻于2月21日再度调动14万陆军和数万水军侵朝。从动员到集结就绪共花费5个月时间，在7月准备完毕。

万历二十五年（1597年）夏，丰臣秀吉又派军从水陆两路进犯，7月7日，九鬼嘉隆要一雪前耻，一举重创元均为首的朝鲜水军，又配合陆军水陆夹击漆川岛的朝鲜水军，朝军几乎全军覆没，日军控制了制海权。8月1日，1万4千日军三路进攻全罗道，正好赶上明军进驻全罗、忠清。大将杨元率3000人守卫南原，但寡不敌众，两千七百余人战死，杨元负伤。

8月19日，明军除守卫稷山外全线退至汉城，日军占领了全罗道全部地区。李舜臣重新被任命为三道水军节度使，但此时他手中只有12艘船和120名士兵而已。于是李舜臣整顿了残余部队，在碧波亭水域悄悄准备恢复实力。9月7日黑田长政10，000人分攻稷城和舒川，被明将解生打败。这时明将邢玠和麻贵统兵四万和朝鲜权粟元帅会师，组成中朝联军，大举南进。秀吉情知不妙，加上李舜臣又在鸣梁海峡以少胜多，大败日水军，所以日军连忙后撤，令加藤清正守蔚山、小西行长守顺天、岛津义弘守泅川，形成沿海要点的守备态势。自此，李舜臣保住了全罗、忠靖两道，争得时间重整水军。

这时，明朝因日本毁约大为震怒，也认识到日本的危险性，调动了川、陕、浙、蓟、