而跟着李佑离开的除了虎贲卫一师五千人还有这些人的家人和李佑在敦化坊的冶铁处和建房处的人，一共大约有五千人，也就是说这次跟着李佑离开的大约有一万人。
也只有李佑拥有这样的财力，可以带着一万人离开长安，要是其他人就不行了，李恪和李愔顶多带个上千人，李佑这次带万人离开的时候，长孙无忌本来是要阻止的，他是想要将一切都给留下来。
不过，这个时候，李治发了狠，他在一次遇到长孙无忌的时候用凶狠的眼神看着长孙无忌希望长孙无忌不要斩草除根，不然他会向自己的父皇进言长孙无忌的可怕。
这让长孙无忌有些忌惮，他不想自己的形象在李世民和李治的心中崩塌，所以最后还是没有选择斩草除根，但是长孙无忌不知道的是。
李治并没有像长孙无忌想的那么简单，李治在随后的时间中，几乎都会悄悄的不经意的说着一些长孙无忌的坏话。
一开始李世民对长孙无忌是真的无比的信任，要知道李世民对长孙无忌的信任主要取决于两点：一是早在李世民做秦王甚至更早李渊起兵反隋地时候，长孙无忌就已经开始跟随在李世民左右了。后来则一直跟随李世民经历“玄武门之变”登上皇位之后，受封国公之爵位，同时身居要职。
二是长孙无忌的妹妹长孙无忧正是李世民的皇后，长孙皇后可以说是一代贤后，二人之间还有十分亲密的姻亲关系，而且在李治出生之后，李世民又早早地将其立为太子，长孙无忌没有可以生二心和争权的理由。再加上李世民的用人风格也一向都是“用人不疑”，所以，自始至终李世民都应该没有对长孙无忌升起过防范之心，这从他把长孙无忌列为“二十四功臣”的第一位这件事中，便可以看出端倪。
但是李世民老了，后面的李世民也是多疑了起来，再加上李治一直都的不遗余力说着长孙无忌的坏话，最终李世民还是对着自己的这位心腹，用了一明一暗的两条制约：
一，明：许可长孙无忌清除异己的部分行动（但是对房玄龄这样的老臣还是给予保护的），肯定长孙无忌的托孤大臣身份，并且让褚遂良从旁相助，负责调解无忌和新皇李治的关系，只是褚遂良没有这么干。
很多朋友说是太宗皇帝让褚遂良护着长孙无忌，其实仔细想想是不可能的，长孙无忌是位极人臣，门生故吏遍及朝廷上下，褚遂良是秦王府十八学士褚亮的儿子，换言之是长孙无忌的小字辈，哪有力量去保护长孙无忌，他抱长孙无忌大腿得到保护才对。
如果长孙无忌知进退，褚遂良调和得当，那么高宗李治可以和这位舅舅比较和谐地相处。
二，暗：但是后来高宗年间，长孙无忌的权威却不断提升，严重影响了李治作为皇帝的权威。
这个时候李世民身前所伏下的暗线就启动了，那就是大将李绩，也就是隋唐里所说的徐茂公。长孙无忌权威日盛，但是偏偏有一块领域是他无法企及和掌控的，那就是军队，这也是李世民敢于给长孙无忌托孤的底气所在，而且李世民身前对李绩也有托孤（后来出土的李绩墓志里说起过此事），只是不像长孙无忌那样明着下诏书而已。
长孙无忌是文官，在军队没有什么权威，一旦李治祭出这张牌，而且李绩支持皇帝的话，那长孙无忌就无可奈何了。
事实证明确实如此，在废王立武的政治事件中，李绩对皇帝一句“此陛下家事何须问外人”的话算是表达了军方的态度，一举扭转乾坤，长孙无忌的权势从此日下。
长孙无忌根本就不知道，他的行为会给以后的长孙家带来什么样的灾难，李治和李明达凑在一起之后，就会将自己五哥离开的事情，全部都归咎到长孙无忌的头上。
再看着长孙无忌那高高在上，颐指气使的模样，两人的心中都对长孙无忌没有一点的好感，他们没有时间送自己的五哥，连最后一眼都没有看到，你是不知道两个小家伙的怨念是有多深。
自此之后，李治和李明达看到长孙无忌之后再也没有了笑容，而长孙无忌还后知后觉，认为这两个小家伙只是小孩心性，以后就会好起来。
但是长孙无忌没有想到的的，这两个小孩，一辈子都没有原谅长孙无忌，也不是李治，他在后期还会受到长孙无忌的摧残，所以以至于后面长孙无忌没有了活路，即使这边李佑已经出面帮助长孙无忌求情，但是最终也是没有求下长孙无忌的性命。
毕竟李治对长孙无忌的恨实在是太多了，虽然李佑也对李治说了很多，但是李治却十分的坚定，最后李佑也没有办法，一切都是长孙无忌自己太过的嚣张了。
这也侧面印证了长孙皇后的高瞻远瞩，一开始就不允许长孙无忌权利太大，可是没有想到，终究是功亏一篑。