给事中吴时来奏请征召谭纶、戚继光训练兵马，诏令谭纶回兵部，升任左侍郎兼任右佥都御史，总督蓟、辽、保定的军务。谭纶上奏说：“蓟镇、昌平的兵丁不满十万人，而且老弱者占一半，分别隶属几位将领，分散于二千里的防区。敌人集中兵力来攻，我们分兵防守，众寡强弱不等，所以言事者请求赶紧训练兵马。然而四大困难不解决，最终不能训练兵马。敌人擅长骑射，不招募三万人经常练习车战是不能制服敌人的。统计三万人的月饷，每年五十四万两白银，这是一大困难。燕、赵的兵丁的锐气在边防中耗尽了，不招募一万二千多名熟谙战事的吴、越士兵，掺杂在他们中间教练他们，必然难以成事。我与戚继光受召就可以立马赶到，议论的人认为不可能，不始终信任，这是第二大困难。军事崇尚严格，然而燕、赵的士卒一向骄惯，骤然被处以军法必然大为震惊骇然。况且又离京城很近，容易产生流言蜚语，徒然使忠诚、明智的士卒受到掣肘而废弃了功力，进而酿成其他祸患，这是第三大困难。我方兵士一向没有直接与敌作战，就是打败了敌人，敌人不心服，能够再次打败敌人，才能使敌人终身受创，但是这容易产生忌恨与妒嫉；想再有作为，祸患已经先到了。这是第四大困难。按现在的情况考虑，请求调集蓟镇、真定、大名、井陉和督抚的标兵三万人，分成三个营，指令总兵、参将、游击分别统率他们，而且授予戚继光总理练兵的职责。春季与秋季两个防御期，三营的兵马各自调至边关附近。敌人来了就能将他们遏制在关外，敌人攻进来了就能与他们在关内决一死战。这两方面没有效果，我不逃避罪责。而且训练兵马不是一朝一夕的事，现在秋季防御已经临近，请迅速调集三千名浙江兵，以缓解急迫的形势。三年之后，边防军训练好了就遣返浙江兵。”
嘉靖帝下诏全部同意了他的请求，仍指令谭纶、戚继光商讨分别成立三个营的事情，谭纶趁机说：“蓟镇训练了十多年的兵马，然而最终不见成效，是因为任务不专一，训练也不落实。现在应该责令臣谭纶与戚继光，专门负责，不要让巡按、巡关的御史参与到这中间。”自从战争兴起，边防大臣受舆论的牵制，不能有所作为，所以谭纶上奏陈述此事。而且巡抚刘应节果然有不同的意见，巡按御史刘随、巡关御史孙代又弹劾谭纶专横。朱载垕采纳了张居正的意见，将练兵作战的事情全部委托给了谭纶，并且告诫刘应节等人不要阻挠。
谭纶考虑边地关隘、要道的险易，道路的远近，将蓟镇分成十二防区，每个区设置一名小将，全军总共分成三个营：东营驻扎在建昌守备燕河以东的地区，中营驻扎在三屯守备马兰、松太地区，西营驻扎在石匣守备曹墙、古石地区。各位将领时常率兵操练，互相声援，管理办法周到明了。当年秋季，蓟镇、昌平地区没有警讯。过去调集陕西、河间、正定的兵马进行秋季防卫，到如今就全部罢除了。
谭纶刚刚上任在关塞巡视，对身边的将领说：“秣马厉兵，决定胜负于呼吸之间的方法适宜于南方；坚壁清野，钳制侵略之敌的方法适宜于北方。”于是他与戚继光谋划制订作战的方针、策略，并报告给朝廷，修筑了三千多个屯兵御敌台，从居庸关到山海关，控制着要害地区。谭纶被召到京城担任右都御史兼任兵部左侍郎，协助处理军务，御敌台修成，他又招募了九千多名浙江兵驻守。边防经过此番大整治，敌人不敢前来侵犯。他因功升任兵部尚书，兼任右都御史，协助处理原来的事务。同年冬，朱载垕允许他回乡休假。
神宗朱翊钧继位后，谭纶出任兵部尚书，被加封为太子少保。给事中雒遵弹劾谭纶不称职，谭纶多次上奏请求罢职，万历帝下优诏挽留他。谭纶在任上去世，朱翊钧命赐祭葬，追赠太子太保，谥号“襄敏”，允许其子孙世袭锦衣卫百户。