随着官场的不断发展，李成梁贵极而骄，奢侈无度，全辽的商民之利他都揽入自己名下，从此他结交权门和朝廷的官员。后来，李成梁为言官所劾，神宗竟从御史张鹤鸣的话，罢免了李成梁在辽东的职务，仅仅以宁远伯的身份朝见皇帝。之前，李成梁在辽东的时候所立的战功大多都是在塞外，很容易缘饰真实情况，如果敌寇进入内地，就以坚城清野作为依托，拥兵观望形势然后出击，甚至可以掩饰败绩变为功劳，杀良民冒充敌军的首级。
阁部的官员都被他所蒙蔽，督抚、监司稍微有与他忤逆的意思，就被他排挤出去，以至于都不能检举他的不法行径。先后有巡按陈登云、许守恩得到了他杀降冒功的罪证，想要上奏，却被巡抚李松、顾养谦等人阻止。既而引起了朝中的议论沸腾，御史朱应毂、给事中任应征、佥事李琯相继上书予以抨击。因为李成梁的事情有证可查，但是最终因为朝中靠山的暗中支持，才不至于治罪。等到他的靠山申时行、许国、王锡爵等人相继去职之后，李成梁失去了依托，最终被罢免了。
哱拜在宁夏反叛，御史梅国桢上奏请求重新起用李成梁，给事中王德完坚决认为不可，于是就被搁置了。李成梁失去了参加宁夏之役的机会，明廷派他的长子李如松为总兵参加，李成梁也失去了立功起复的机会，之前的诸战功所率领的战将们先后被重用。其后，他的手下李平胡、李宁、李兴、秦得倚、孙守廉等人都获得富贵，都成为主宰一城的长官。但是此后明朝边防却暮气难振，又去转相地收刮民财，军队的数量和装备有一定的减损，自从李成梁离开辽东之后，十年之间更易了八位主帅，明朝辽东的边防一步步废弛，为努尔哈赤的崛起提供了客观条件。
辽东总兵马林，因为与税使高淮争执被弹劾获罪，大学士沈一贯上书说李成梁虽老，还可以继续带兵。于是明廷命李成梁再镇辽东，这时候李成梁已经七十六岁高龄了，这时候，鞑靼的土蛮、长昂以及把兔儿等已经离世，鞑靼的入寇已经很少了。而开原、广宁之前又开马、木二市，女真诸部为了获取利润，都归顺臣服。因为这个原因，李成梁又在辽东镇守了八年，当时辽东很少有边情，因为长期巡查东北的情况叙功，李成梁加至太傅。
当他第二次出任辽东总指挥官时，为了彻底破坏掉明朝与其他少数民族的联合可能，他实行暴力征伐。先是对泰宁部速把亥，然后是叶赫女真的清嘉奴、扬嘉奴，而这一时期，努尔哈赤已经统一了建州女真，正一步步蚕食海西女真，力量不断壮大起来。
从万历初期的时候，兵部侍郎汪道昆前去巡视边境，李成梁献上建议将孤山堡移建到张其哈剌佃，险山堡迁移到宽佃，沿江新安四堡迁移到长佃、长岭诸处，仍以孤山、险山二参将驻守，可以开辟疆土七八百里，可以大大扩张耕牧之利。汪道昆上报明廷，明廷认为可以实行。从此这里的人口生计日益繁荣，增至六万四千余户。李成梁以那里孤悬于外很难守住为由，舍弃了辽左六堡，将那里的六万四千余户居民迁移到内地，那些居民依恋家室不想离开，李成梁就以大军驱赶他们，造成很多流血事件，死者很多，为此，李成梁大受朝野谴责。
熊廷弼守辽东时，指出李成梁罪可至死，“原任辽东总兵李成梁以新疆勘报已完，奏乞矜察功罪。上下其疏该部院。”这是李成梁为自己的“清白”讨个说法的奏疏，也是试探一下万历帝对自己的最后态度。李成梁虽然年老体衰，但是其诸子仍然手握重兵，李氏家族在辽东的势力和影响犹存，万历帝的态度还是“倾向”于原任辽东总兵李成梁，但是言官们还是抓住不放。
不过随着万历帝“以宁远伯李成梁镇辽年久有功，应得恤典，命该部从优查给。”的诏书一下，言官还是看到了万历帝的倾向，只是“解任”而不想置之死地。李成梁是“百足之虫死而不僵”，弹劾李成梁之风随即减弱。
后来，李成梁卒於北京，葬仰山之北，死后三年，努尔哈赤诏告对明朝的“七大恨”檄文，正式对明廷宣战，“辽事”问题遂产生，辽东成为明朝政治腐败、经济凋敝、军备废弛的缩影。