第二日下午未时左右，赵昌乘船赶至。李宁和郑伸在江边黄鹤楼下，亲自出迎。
回到观察使府后，李宁特意在一处无人的雅间内询问赵昌：“朝廷可有变故，为何派将军再次前往安南？”
老将赵昌解释道：“长安灾情已经控制，并无变故。我一武将，实在不愿做国子祭酒，无趣得很。”
国子祭酒相当于后世教育部部长，让一武将担任，确实不妥。于是李宁道：“您不愿任国子祭酒，请求陛下改任大将军就好。何必不远万里去安南，陛下也不知体谅您患有腿疾。”
赵昌立刻站起来走了好几步，回道：“腿伤养了这么些年，早就好了，你们怎么都就不信呢。”接着他又道：“这次我是自请前往安南，陛下不得不同意，否则我就得绝后啦。”
李宁一听绝后，立马问道：“安南出了何事？”
赵昌一想就来气，大手拍了一桌子怒道：“还不是我那孙儿，听说是与环王贸易时起了冲突，被扣押了。老子镇守安南十几年，对他们已经够仁慈了。谁曾想，他们竟敢对我宝贝孙儿下手，这次非把他们打残不可。”
李宁一听自责不已，原来安南生变，竟是因为他自己推波助澜。去年，赵安去安南时，李宁为了解决即将出现的旱灾，便让他搜寻“占城稻”。
想来，赵安寻找“占城稻”时，与环王起了冲突，才被扣下。李宁于是劝道：“环王去年已经归降，今年再次生乱，将军应妥善处理为好，不宜多造杀戮。”
赵昌回道：“若是他们把我孙儿平安归还，一切好说。否则，本将虽老，仍可为大唐再灭一国！”
李宁见此也不好再劝，只是写下一封信，请赵昌将军交给他孙儿。信中交代赵安好好劝劝赵昌，并叮嘱培育“占城稻”之事不可操之过急。
国子监中的事，赵昌这一祭酒很少去管，他很快与郑伸交接完毕，第二日就准备出发去就他孙儿。
翌日，李宁和赵昌等人乘着大船沿江而上，经过沔州、复州、岳州，三后后到达岳州治所巴陵县。
岳州同样有座“江南三大名楼”之一的岳阳楼。颜延之、李白、杜甫等人同样留下千古名篇。
两楼都紧临大江，高大耸立，地势险要，不过它们略有不同。黄鹤楼在城外的黄鹤矶上，而岳阳楼是在巴陵县城墙之上。
李宁和赵昌在岳州休息了一晚，随后分道扬镳。李宁继续沿着大江西去，赵昌则去湖南沿着湘江南下。
赵昌带了一百名神策军士兵，为了赶路，他们一人一骑。到山南东道的襄州时才租了四艘十丈官船，顺流而下，其中两艘船装的都是战马。
其实上月二十四日，赵昌已经被任命为安南都护。但皇帝让他带领一千神策军，把长安南面万余名灾民安置在商州、均州，以减轻京城粮荒。。
赵昌只带了百名军士赴任，剩下的神策军都被安排协理灾民事宜，所以他直到四月十一日这天才到达鄂州。
和赵昌一同前往湖南的还有庐山隐士符载。符载乃西川武都人，代宗大历年间，他为避蜀乱与蜀人杨衡、王简言、李元象同隐青城山，建中年间又一同归隐庐山。
“山中四友”最初是指他们四人。王简言早卒，庐山名士李渤便成了“山中四友”之一。
值得一提的是，李元象名叫李群，字元象。李宁来庐山时已经亡故数年。而元朝辛文房所著《唐才子传》误把李群当成崔群。
崔群生于大历七年（公元772年），出身顶级豪门清河崔氏。贞元八年（792年），他年仅二十岁便高中进士，和韩愈、欧阳詹同为陆贽门生，自然不会隐居庐山。
而明朝胡震亨所著《唐音癸签·谈丛》中，将李渤删去，另增宋济，此乃后话。宋济确实是唐朝德宗时期人，在众多名人隐居庐山后，也来此隐居。
庐山汇集佛道儒三教众多名人，享誉天下。这些人虽都是隐居于此，但名声越来越大。
贞元十三年（公元797年），李巽从湖南观察使调任江西观察使。符载被李巽推荐，授为奉礼郎。