玄宗对张九龄日益疏远。
玄宗在东都洛阳，因为宫中闹鬼，玄宗睡不好，想回长安。
张九龄说：“现在是收获季节，若是此时回去，陛下的车队会影响沿途百姓收割庄稼的。”
玄宗怏怏不乐。
等张九龄一走，像幽灵一样的李林甫出现了。李林甫欲言又止。
玄宗说：“林甫，有什么话你就只说。”
李林甫关切地说：“臣看陛下脸色不太好，是昨晚没睡好吧？”
玄宗叹一口气，说：“朕这几天都没睡好，想回长安，可是张九龄反对，说朕的车队会影响百姓的收割。”
李林甫眼珠子微动，说：“陛下，东都和西京都是陛下的地方，想什么时候回去就什么回去。臣有一个办法，可以两全其美。”
玄宗来了精神：“说说看。”
李林甫说：“陛下，你可以免除沿途百姓今年的赋税，百姓一定会感谢陛下的圣恩的。”
玄宗大喜：“好，很好。林甫，还是你机灵，不像张九龄那样呆板，就这样办。”
李林甫确实够阴险的，既讨好了玄宗，又打击了张九龄。
监察御史周子谅为张九龄感到不平，一日酒醉，他对御史大夫李适之说：“李大人，你可听说过这几句话：首尾三鳞六十年，两角犊子自狂颠，龙蛇相斗血成川。”
李适之问：“此何意啊？”
周子谅大笑：“这还不简单，两角犊子，牛也，就是说必有牛姓者犯唐。而今牛仙客不才，滥登相位，正是应了预言，大唐危险啊。您是皇亲国戚，岂能坐观其事？”
李适之将此事上奏玄宗，玄宗大怒：“周子谅，你身为御史大夫，竟然相信谶书，妖言惑众，诬陷大臣，你还有什么话说？”
古时的皇帝都很讨厌谶书，因为谶书都是预言吉凶，说谁要当皇帝，谁要造反等等。
周子谅无言以对。
玄宗命人将周子谅当庭杖责，然后流放瀼州，周子谅行至蓝田而死。
李林甫绝对不会放过这次扳倒张九龄的机会，他等这个机会已等了很久了，向玄宗进言：“陛下，周子谅是张九龄举荐的，应当追究张九龄的责任。”
欲知玄宗是否处置张九龄，下文分解。