至正二十四年（1364），朱元璋自立为吴王，拜李善长为右相国，时犹承元制尚右。李善长明习故事，裁决如流，又擅长辞令，朱元璋有所招纳，往往由他代草。几次大的战斗如西克江州（今江西九江）、两平洪都（今江西南昌）、援安丰（今安徽寿县南、安丰塘北）、讨庐州（治所在今安徽合肥）、下武昌，都由李善长留守，将吏帖服，居民安堵。前方战事频起，命将四征，百万供给，皆由李善长转调。又请征两淮盐税，立茶法，皆根据元制而去其弊政。不久复请制钱法，开铁冶，定渔税，“国用益饶而民不困”。
吴元年（1367）九月，平吴，论功封李善长宣国公，改官制，尚左，以为左相国，赏赐无算。时惩元纵弛，颇用重典，法律有三条关于“连坐”的款文，李善长建议除大逆以外皆免之，朱元璋遂命他与刘基等裁定律令，颁示中外。不久，李善长又率群臣上表劝朱元璋即帝位，朱元璋称帝后，命李善长为大礼使，定追封祖、父及册立后妃、太子、诸王等事宜。置东宫官属，李善长兼太子少师，授银青荣禄大夫、上柱国，录军国重事，余仍旧。不久，又上奏定六部官制，议官民丧服及朝贺东宫仪式。监修《元史》，主编《祖训录》、《大明集礼》等书，制定朝臣大小服色俸赐、天下岳渎神祗名号、封建藩国及功臣爵赏，存恤国初都先锋、十大元帅、都尉、指挥、阵亡无后者之父母妻，禁淫祀。总之，明初国家草创，百废待兴，各种典章制度，事无大小，皆由李善长和刘基、宋濂及其他儒臣共同商量、斟酌制定的。
洪武三年（1370），以徐达、李文忠班师回京，大封功臣。当时，将军们功劳大的平定了中原，小的也攻取了闽越州郡，李善长留守南京，“雍容无所见绩”，朱元璋体会到这一点，说李善长虽无汗马劳，然与我共事的时间很长，又努力保障后勤供应，功劳很大，进封韩国公，授开国辅运推诚守正文臣，特进光禄大夫、左柱国、太师、中书左丞相、参军国事，岁禄四千石，子孙世世勿绝，赐铁券，免二死，子免一死。时大将军徐达功绩赫赫，然犹位在李善长之下。
李善长外宽和而内多刻薄，进封大国，却受爵不让；参议李饮冰、杨希圣，稍侵其权，即按其罪奏黜之。其所厚者中书都事李彬犯法，刘基铁面无私，置之于法，李善长“恶人先告状”，以致刘基被迫告老退职。朱元璋凭借淮西力量起家，他作了皇帝以后，淮西诸将和幕府僚属都成了开国功臣，他们不但有汗马功劳，也有了政治地位，在明朝初年的政治局势下，淮人自然而然地形成了很突出的地位。特别是李善长既富且贵，骄横专擅，凭借自己的权势，颐指气使，凌驾于百官之上，为非淮人集团和朱元璋所日渐不满。张昶、杨宪、汪广洋、胡惟庸先后获罪被杀，朱元璋只碍于李善长过去的功劳而一直隐忍不发。一天，朱元璋借与陶凯论斋戒当至诚为由，暗示李善长应趁早退职，曰：“人之一心，极艰检点，心为身之主，若一事不合理，则百事皆废，所以常自检点，凡事必求至当。今每遇斋戒，必思齐整心志，对越神明。”李善长听后叩头称善。洪武四年（1371）正月，李善长以疾致仕，赐临濠地若干顷，置守冢一百五十户，给佃户一千五百家，仪仗士二十家，与魏国公徐达等。洪武五年病愈后，命他督建临濠宫殿，凡数年。洪武七年，朱元璋推恩提拔他弟弟李存义为太仆丞，存义的两个儿子李伸、李佑担任府州官员。洪武九年，又把长女临安公主下嫁其子李祺，拜为驸马都尉。光宠赫奕，时人艳羡。婚后一月，御史大夫汪广洋、陈宁上疏言：“善长狎宠自恣，陛下病不视朝将近十天，也不来问候。驸马都尉李祺六日不上朝，宣至殿前又不谢罪，大不敬，请付有司议处。”于是坐削李善长岁禄一千八百石，几及其半。李善长“自是意忽忽不自得”。
洪武十三年（1380），左丞相胡惟庸获诛。胡惟庸是善长同乡，初为宁国知县，时善长当政，惟庸以黄金二百两贿赂之，便得以入京任太常少卿。累迁中书参政，又以兄女嫁李佑，因相互往来。惟庸任相后，“与善长深相结”，“贪贿弄权，无所畏忌”。朱元璋为防止大权旁落，遂以“擅权枉法”之罪杀了胡惟庸，及其同党御史大夫陈宁、中丞涂节等数人。群臣请并诛李善长，朱元璋以彼为初起时心腹股肱，置不问。李善长以年老养疾奏，许之。
自胡惟庸被杀后，胡案成为朱元璋进行政治斗争的武器。特别是随着自己年事的增高，懿文太子又柔仁，便决心消除“棘杖上的刺条”，使下一代保持一个安定的政治环境。凡是心怀怨望的、行动跋扈的、对皇家统治有危害性的文武官员、大族豪强，都陆续被罗织为“胡党”罪犯，处死抄家。胡惟庸的罪状也随着统治阶级内部矛盾的发展而发展，随时扩大。最初增加的罪状是
“通倭”，接着又是“私通蒙古”。日本和蒙古是当时明朝两大敌人，通敌当然是谋反了。史载：“时四方仇怨相告讦，凡指为胡党，卒相收坐重狱。”洪武十八年（1385），有人告李存义父子实胡惟庸之余党，诏免死，发放崇明。李善长知道个中缘由，也不去道歉，朱元璋衔之。
洪武二十三年（1390），时李善长已七十七岁，“耄不检下”，然仍欲增隆其第宅，从信国公汤和那里借卫卒三百人，汤和密以闻。四月，有京民坐罪应徙边者，李善长又数次请托，免其所亲丁斌等。于是朱元璋勃然大怒，先严刑逼供丁斌，查出丁斌原在胡惟庸家办过事，知道李存义等和胡惟庸相互勾结的情况，接着下令把李存义父子逮到京师审问，结果词连李善长，云：“惟庸有反谋，使存义阴说善长。善长惊诧曰：‘尔言何为者，审尔，九族皆灭。’已，又使善长故人杨文裕说之云：‘事成当以淮西地封为王。’善长惊不许，然颇心动。惟庸乃自往说善长，犹不许。居久之，惟庸复遗存义进说，善长叹曰：‘吾老矣，吾死，汝等自为之。’”②“又旬日，惟庸谒善长，延之东西向座，屏左右款语良久，人不得闻，但遥见颔首而已。”③这时，御史们也纷纷上疏劾李善长：洪武二十一年（1388），将军出塞，至捕鱼儿海，掳获元宗室大臣及宝玺、图书、金银印章无数，元宗室大臣中有胡惟庸暗通沙漠的使者封绩，而李善长却匿不以闻。④有的更说私书中有李善长的亲笔信。⑤这时，李善长家仆卢仲歉等亦上告他与胡惟庸“通赂遗，交私语”①。狱词锻炼完毕，朱元璋谓：“善长元勋国戚，知逆谋不发举，狐疑观望怀两端，大逆不道。”恰好天象显示有灾变，占得应在大臣，遂并其妻女弟侄家口七十余人诛之。②
李善长子祺，徙江浦，久之卒。祺子芳、茂，以公主恩，得不坐。第二年，御史解缙、虞部郎中王国用上书为李善长称冤。朱元璋得书，竟未怪之于罪。
吴元年（1367）九月，平吴，论功封李善长宣国公，改官制，尚左，以为左相国，赏赐无算。时惩元纵弛，颇用重典，法律有三条关于“连坐”的款文，李善长建议除大逆以外皆免之，朱元璋遂命他与刘基等裁定律令，颁示中外。不久，李善长又率群臣上表劝朱元璋即帝位，朱元璋称帝后，命李善长为大礼使，定追封祖、父及册立后妃、太子、诸王等事宜。置东宫官属，李善长兼太子少师，授银青荣禄大夫、上柱国，录军国重事，余仍旧。不久，又上奏定六部官制，议官民丧服及朝贺东宫仪式。监修《元史》，主编《祖训录》、《大明集礼》等书，制定朝臣大小服色俸赐、天下岳渎神祗名号、封建藩国及功臣爵赏，存恤国初都先锋、十大元帅、都尉、指挥、阵亡无后者之父母妻，禁淫祀。总之，明初国家草创，百废待兴，各种典章制度，事无大小，皆由李善长和刘基、宋濂及其他儒臣共同商量、斟酌制定的。
洪武三年（1370），以徐达、李文忠班师回京，大封功臣。当时，将军们功劳大的平定了中原，小的也攻取了闽越州郡，李善长留守南京，“雍容无所见绩”，朱元璋体会到这一点，说李善长虽无汗马劳，然与我共事的时间很长，又努力保障后勤供应，功劳很大，进封韩国公，授开国辅运推诚守正文臣，特进光禄大夫、左柱国、太师、中书左丞相、参军国事，岁禄四千石，子孙世世勿绝，赐铁券，免二死，子免一死。时大将军徐达功绩赫赫，然犹位在李善长之下。
李善长外宽和而内多刻薄，进封大国，却受爵不让；参议李饮冰、杨希圣，稍侵其权，即按其罪奏黜之。其所厚者中书都事李彬犯法，刘基铁面无私，置之于法，李善长“恶人先告状”，以致刘基被迫告老退职。朱元璋凭借淮西力量起家，他作了皇帝以后，淮西诸将和幕府僚属都成了开国功臣，他们不但有汗马功劳，也有了政治地位，在明朝初年的政治局势下，淮人自然而然地形成了很突出的地位。特别是李善长既富且贵，骄横专擅，凭借自己的权势，颐指气使，凌驾于百官之上，为非淮人集团和朱元璋所日渐不满。张昶、杨宪、汪广洋、胡惟庸先后获罪被杀，朱元璋只碍于李善长过去的功劳而一直隐忍不发。一天，朱元璋借与陶凯论斋戒当至诚为由，暗示李善长应趁早退职，曰：“人之一心，极艰检点，心为身之主，若一事不合理，则百事皆废，所以常自检点，凡事必求至当。今每遇斋戒，必思齐整心志，对越神明。”李善长听后叩头称善。洪武四年（1371）正月，李善长以疾致仕，赐临濠地若干顷，置守冢一百五十户，给佃户一千五百家，仪仗士二十家，与魏国公徐达等。洪武五年病愈后，命他督建临濠宫殿，凡数年。洪武七年，朱元璋推恩提拔他弟弟李存义为太仆丞，存义的两个儿子李伸、李佑担任府州官员。洪武九年，又把长女临安公主下嫁其子李祺，拜为驸马都尉。光宠赫奕，时人艳羡。婚后一月，御史大夫汪广洋、陈宁上疏言：“善长狎宠自恣，陛下病不视朝将近十天，也不来问候。驸马都尉李祺六日不上朝，宣至殿前又不谢罪，大不敬，请付有司议处。”于是坐削李善长岁禄一千八百石，几及其半。李善长“自是意忽忽不自得”。
洪武十三年（1380），左丞相胡惟庸获诛。胡惟庸是善长同乡，初为宁国知县，时善长当政，惟庸以黄金二百两贿赂之，便得以入京任太常少卿。累迁中书参政，又以兄女嫁李佑，因相互往来。惟庸任相后，“与善长深相结”，“贪贿弄权，无所畏忌”。朱元璋为防止大权旁落，遂以“擅权枉法”之罪杀了胡惟庸，及其同党御史大夫陈宁、中丞涂节等数人。群臣请并诛李善长，朱元璋以彼为初起时心腹股肱，置不问。李善长以年老养疾奏，许之。
自胡惟庸被杀后，胡案成为朱元璋进行政治斗争的武器。特别是随着自己年事的增高，懿文太子又柔仁，便决心消除“棘杖上的刺条”，使下一代保持一个安定的政治环境。凡是心怀怨望的、行动跋扈的、对皇家统治有危害性的文武官员、大族豪强，都陆续被罗织为“胡党”罪犯，处死抄家。胡惟庸的罪状也随着统治阶级内部矛盾的发展而发展，随时扩大。最初增加的罪状是
“通倭”，接着又是“私通蒙古”。日本和蒙古是当时明朝两大敌人，通敌当然是谋反了。史载：“时四方仇怨相告讦，凡指为胡党，卒相收坐重狱。”洪武十八年（1385），有人告李存义父子实胡惟庸之余党，诏免死，发放崇明。李善长知道个中缘由，也不去道歉，朱元璋衔之。
洪武二十三年（1390），时李善长已七十七岁，“耄不检下”，然仍欲增隆其第宅，从信国公汤和那里借卫卒三百人，汤和密以闻。四月，有京民坐罪应徙边者，李善长又数次请托，免其所亲丁斌等。于是朱元璋勃然大怒，先严刑逼供丁斌，查出丁斌原在胡惟庸家办过事，知道李存义等和胡惟庸相互勾结的情况，接着下令把李存义父子逮到京师审问，结果词连李善长，云：“惟庸有反谋，使存义阴说善长。善长惊诧曰：‘尔言何为者，审尔，九族皆灭。’已，又使善长故人杨文裕说之云：‘事成当以淮西地封为王。’善长惊不许，然颇心动。惟庸乃自往说善长，犹不许。居久之，惟庸复遗存义进说，善长叹曰：‘吾老矣，吾死，汝等自为之。’”②“又旬日，惟庸谒善长，延之东西向座，屏左右款语良久，人不得闻，但遥见颔首而已。”③这时，御史们也纷纷上疏劾李善长：洪武二十一年（1388），将军出塞，至捕鱼儿海，掳获元宗室大臣及宝玺、图书、金银印章无数，元宗室大臣中有胡惟庸暗通沙漠的使者封绩，而李善长却匿不以闻。④有的更说私书中有李善长的亲笔信。⑤这时，李善长家仆卢仲歉等亦上告他与胡惟庸“通赂遗，交私语”①。狱词锻炼完毕，朱元璋谓：“善长元勋国戚，知逆谋不发举，狐疑观望怀两端，大逆不道。”恰好天象显示有灾变，占得应在大臣，遂并其妻女弟侄家口七十余人诛之。②
李善长子祺，徙江浦，久之卒。祺子芳、茂，以公主恩，得不坐。第二年，御史解缙、虞部郎中王国用上书为李善长称冤。朱元璋得书，竟未怪之于罪。