此时的司马睿也是十分着急的，他要一个中间人式的人物来平衡权力，王家的势力大，他一时支撑不住这个局。他要谢家出这么一个人能够担当这个斡旋的中间人角色。由于谢始终不肯出面，只得让谢家的其他子辈来出来事，于是谢奕、谢、谢万、谢石、谢铁等谢家子弟一一出来事轮个遍，但是果一，都达不到司马睿的预的要求。
为要谢出面呢？有个小故事可以看出，有一次谢与王羲之在游山玩水的途中望着这好的江山，王羲之发出慨，“这么好的江山竟落得到如此地，方少数民占领，方苟延残喘，未来不道怎么样了。这样的国家一定要一次大的革行，不然大家以后都可能面临亡国的危险。”
“羲之此言过于悲观，方沦丧主要是方少数民善于骑射，我们汉人并不善于此道。这个和国家体制没有关系。当年秦朝时，重用鞅来变法，国家虽然大了，也统一了中国，但是秦朝迅在2年左右时间土崩瓦解了，难道这不能说明么吗？一个国家的在与体制革没有直关系，主要是这个国家是否是关心了人民的疾苦。当年晋朝洛阳的贵过于奢华，以至于买了很多方奴隶，想不到方奴隶到了洛阳后反了，反叛了，反而成为了洛阳的主人，当年的主人反而他们杀了。所以生活过于奢华又不关心劳动人民的疾苦，这是国家与亡的本因。”，谢说，继续与王羲之前行游览胜古迹去了。
从这个故事可以看出，谢的想偏向于孟子想，民贵君轻，当国君不关心人民的疾苦之后，老姓不管是不是奴隶都会起来反抗。谢主张对国家不大动，以小动来代替大动，大动要伤动骨，说不定没多久国家就垮了。谢的国想充分体现了无为而的道家想。对于谢来说，他觉得司马睿不要忧心忡忡地担心王家势力大，其实只要司马睿行术端正无所谓有人会谋反，但是如果天疑神疑鬼的话，反而会成国家的动乱。说了，谢现在手上一没军队，二没人，他也斡旋不了司马家与王家的矛盾。。
由于司马睿屡次邀请谢出来官，谢也有点烦恼，谢觉得索性还是搬山上去住比较好，这样人也不道自己住哪里，也没有啥人来扰了。于是他继续带着夫人游各地，为游实为探测一下哪里适合居住，过上隐居的生活。
当谢在找地方隐居的时，前秦对晋朝开始发动攻击了。前秦的攻击暂时不是全面的，他们对晋朝目前的情况不熟悉，只道东晋了，彻底和晋说见了，晋的皇帝都不道到哪里去了。前秦的符坚派朱肜把东晋长江岸的梁州占领了，他发现东晋连点大动静都没有，料定东晋没实力反扑，就派徐成把益州也占领了。前秦军队占领这两个地方像玩一样的，东晋军队里都流传说符坚长着三头臂，力大无比，谁遇上谁没命，所以大家伙儿一听到前秦军队来了就紧闭城门防守，防守了一大时间看到前秦军队还没撤离，就索性坚不住了，开门投降了。就这样前秦的军队来大，各种武都有，了十八兵，还把马的战车也用上了，好几十辆战车和骑兵一冲，东晋兵像小草一样意宰割。东晋的探子把这些息传到建康都城，各个王公贵都是惶惶不可终日，只有谢还是那么悠闲，老样子，早上稀饭加咸鸭蛋，晚饭粥加馒头加咸菜。他不喜欢吃山珍味，日的粗茶淡饭是谢最想过的日子。