李遂，字邦良，丰城段潭人。弱冠之年，跟从欧阳德学习，考取进士，授官行人，历刑部郎中，时锦衣卫送来强盗十三人，李遂只用一人抵罪，其他的都被他分辨释放。确立新太子时，皇上大赦天下，李遂请求将“大礼”大案诸臣都列在赦令中，尚书聂贤恐惧不敢，于是和同官一起向都御史王廷相求问，王廷相听凭他们这样做，事情虽然没有成功，但议者赞美他。不久他调到礼部，因忤逆尚书夏言，事情遭到弹劾而下诏狱，被贬任湖州同知。
李遂三迁衢州知府，注重风化治理，闲暇时喜欢招友讲学。处州民饥，李遂聚集众人入境采矿，与推官李文进轻骑直逼矿山，饥民焚寨而逃，封矿而归。章圣皇后灵柩南运，风传取道常山，指令衢州备车轿迎送。遂三次上书谓梓宫无由取道衢州。上司震怒掷书于地，催逼急如星火，遂不动声色，后果如所料。浙中各郡县为此敛财物役百姓，怨声四起，唯独衢州上下安然。治衢任内，盗贼敛迹，财赋充裕，百姓感戴。后提升为苏、松兵备副使，又逐渐升职为广东按察使，在位期间释放囚徒八百多人。进官山东右布政使。江洋多盗贼，于是迁右佥都御史提督操江。军政严明，盗不敢发。
俺答侵犯京师，召李遂督苏州军饷，他没有向皇上谢恩，就请求关防验符用新的官衔，世宗皇帝恼怒，削去他的官籍。倭寇侵扰江北，朝廷讨论说因督漕都御史兼理巡抚，没有时间对付敌寇，请求特别设置巡抚，于是命李遂用原官身份巡抚凤阳四府。当时淮、扬三次遭受倭寇侵掠，这一年又发大水，而且天天役使人民拉大木运送到京师。李遂请求增加粮饷增加兵士，抚恤黎民节省开支，这些措施都是为了战、守作打算。
倭寇舰船数百艘犯海门，为了防止倭寇由泰州逼长天、凤阳、泗州，进犯明皇室寝陵，又为了防止倭寇由黄桥逼瓜洲、仪征，进犯南京，梗塞粮道，李遂设计逼使倭寇由富安沿海窜至庙湾，使之陷于绝地而歼之。于是，命副使刘景韶、游击丘升扼守如阜，而亲自驰兵泰州，当其要冲。乘势而来的倭寇见如阜有备，立即转攻泰州。李遂急命刘景韶、丘升出击，连战丁堰、海安、通州皆捷。
倭寇只得沿海北上，李遂喜曰：“贼无能为矣！”遂令刘景韶、丘升尾追倭寇，将其驱赶至庙湾。李遂又虑倭寇窜入淮安，星夜驰入淮安城。不久，倭寇果至，李遂督参将曹克新御之于姚家荡。此时，右通政唐顺之闻倭寇犯江北，急令总兵官卢镗拒敌于崇明，自率副总兵刘显驰援李遂，与李遂一同大败倭寇于姚家荡，倭寇退至庙湾立寨固守。与此同时，刘景韶亦大败倭寇于印庄，追至新河口，焚斩甚众。接着也会兵庙湾，庙湾之敌负隅顽抗，李遂主张列围而困之，唐顺之以为非计，率兵逼近敌寨以火攻之，不能克。
此时，拒敌崇明的卢镗连连告急，唐顺之只得回援崇明，李遂围困倭寇于庙湾一月有余，乃令刘景韶塞堑攻寨，火焚其舟。倭寇乘雨夜逃遁。李遂追敌至虫段子港，斩杀甚众。唐顺之回师崇明，督卢镗、刘显进击倭巢，一再失利。正值盛暑，唐顺之居舟两月，辛劳染疾，返回太仓。崇明倭寇乘机流窜江北，欲犯扬州。刘景韶连战连胜，围之于刘庄，会刘显来援，李遂传命诸军尽归刘显指挥，攻破其巢，追至白驹场，全歼倭寇。于是江北倭患悉平。
不久，在江东代替张鏊任尚书。江北池河营的士兵因为千户吴钦革除他们的帮丁，就殴打吴钦并将他缚在竿子上。帮丁是操练防守士兵的每人给一丁兵饷，以资往来费用。李遂已被召封为兵部左侍郎，因言官推荐而提升为南京参赞尚书，由他来镇压安抚。营卒被妖僧绣头所惑，又散布流言。李遂将绣头捕住杀掉，再三向队伍申严纪律，书写军士的姓名籍贯，年龄相貌，系牌腰间，军士才止息。因多次督兵抗倭，屡立战功，迁南京兵部右侍郎，未几，进南京兵部尚书。
衢州父老感思德政，于城北李遂原讲学处塑李遂铜像，重约2000斤，并建李公遗爱祠，祠及碑均列入省二级文物保护单位。
李遂，博学多智，长于用兵，但也善于逢迎，皇帝准备重新建造三殿，李遂奏说五河县泗水中涌现大杉一棵，这是川泽效灵，为助圣主鼎新革故，皇帝大喜。李遂又进献白兔，皇帝为此派遣官员告于宗庙，从此皇帝更加宠爱李遂。以老致仕，辞官归隐，卒年六十三，赠太子太保，谥号襄敏，着作有《督抚经略疏》等。