谁知道这些人只要能抽开身的，都愿意到太原去，有的刚开始站在西边，后来又到了东边，一队变作两队，东西两边大约各有一半人。大家在下边纷纷交头接耳地议论：“想要留在长安，又舍不得老爷知遇之恩，想要跟老爷去太原，怎奈一家老小都在长安，大小也做了官，还有生意要打理，实在是走不开。”所以同样是手下人，西边的羡慕东边的，好像是要去游玩一样。唐公问西边的人：“你们都愿意留在长安吗？”有几个人说道：“小人蒙老爷抬举，已经做了官。”又有几个人说道：“小的正在种老爷的地。”还有几个人说：“小的领了老爷的本钱，有生意营生。”唐公听完以后，吩咐把几个大箱子抬了出来，不论男女老幼，每人发了棉布两匹，银子一锭。东西发完以后，唐公又说道：“我不在长安做官了，你们都要收敛收敛，低调做人，遵守法度。一定要记住了！”众人都磕了头下去了。唐公又对东边的人说道：“你们这些人都是要跟我去太原吗？”众人说道：“小的们好几辈人都在唐府，情愿跟着老爷到太原去。”唐公吩咐人做了一个花名册，每人发了路上的干粮和盘费，吩咐众人不许骚扰一路上遇到的老百姓，买卖东西要公平，不得强取夺拿。吩咐完了以后，唐公退入后堂休息去了。
窦夫人走上前说道：“现在能够回老家，也是个好事，只是我身怀六甲，这一路上都是旱路，恐怕经不起车马劳顿。况且就要分娩了，不如等半个月以后在起程。”李渊叹了一声，说道：“夫人！主上多疑，另外还有奸人造谣诽谤，要杀尽姓李的人，我们就像身处龙潭虎穴，好不容易皇帝批准了，就是死也要死在老家。你不晓得李浑吗？他全家要想回去是万万不能了！”窦夫人默默无语，起来收拾行李去了。李渊拜别了隋主以后，又辞别了亲朋故友，自己和窦夫人，还有一个十六岁的女儿，坐上了轿子。李渊的弟弟李道宗和长子李建成骑上马，跟着四五十个膀大腰圆的家丁，都是关西大汉，弓上弦，刀出鞘，簇拥着离开了长安。
此时正是中秋季节，唐公趁着天气好出门得早，送行的人也不多，只有几个亲朋故友在郊外践行。唐公也不敢提到国家大事，稍微表达了一下感谢之意，就辞别起程了。人轻马快，一会儿就走了二十多里地，人烟越来越稀少了。忽然看见前面有一座山岗，山岗后面有一片黑压压的树木，显得十分险恶。这个地方叫植树岗。
唐公夫妇坐着轿，走得很慢，三四十个家丁骑着马分布在前后左右，不敢远离。道宗和建成带着几个家丁，骑着马走在前面，离唐公大概有一二里地。建成头戴紫舍冠身穿红锦袍，道宗带着绿色的头巾，穿着胸前绣着一朵大牡丹花的蟒袍，粉底皂靴。几个人下了山岗，进入了树林。如果不是这几个人走在前面，如果唐公的家眷一起进入树林，一来不曾准备，二来一边要照顾行李，一边要照顾家眷，不可能两全其美，肯定会中了宇文述的奸计。幸好这几个人先来了，赶着马在树林里走着。
宇文述让东宫侍卫打扮成强盗的模样，半夜就离开了京城，在树林里已经等了很长时间，远远看见一队人马走进了树林。这些人一看有一个穿着蟒袍的人，还有一个公子哥，断定这就是唐公的家眷，大喊一声，扑了过来。这些人都是用白布缠着头，脸上涂着黑墨，人强马壮，手里拿着长矛大刀。领头的大声喊道：“无须儿留下买路钱！”建成一看，吓了一跳，急忙调转马头往回跑。道宗虽然吃了一惊，毕竟胆大，骂道：“混蛋响马！你们真是吃了熊心豹子胆！就是狗头上也长着两只耳朵，难道不知道我们是唐公李府的，也赶拦路抢劫吗？”说完，拔出腰刀就砍，几个家丁也拿着家伙冲上来了。建成吓得趴在马鞍子上，凭着这马跑回来了，见了轿子，急忙翻身下马，说道：“不好了！不好了！前面遇到了强盗，把我叔叔围在林子里面了。”
唐公听了以后说道：“怎么天子脚下也会有强盗？”立即下了轿吩咐道：“会武功的家丁分一半前去接应，一半守护着家眷车辆，退到后面有人的地方驻扎下来。”自己脱了官府，换上武装，左插弓，右带箭，手中拿着一杆方天画戟，骑着白龙马，带领二十几个家丁，朝前面树林子里赶去。只看见前面四五十个响马，手里都拿着兵器，把道宗团团围在中间。道宗和家丁们手里拿的都是短刀，有点抵挡不住。唐公想要放箭，又恐怕伤了自己人，便纵马一跃，赶了上来，大喝一声：“何处响马，不知死活，竟敢拦截本官！”这一吆喝，这帮强盗也吓了一跳，急忙闪开。唐公带领这家将冲了进去，与道宗合在了一处。这帮强盗看见有人接应，刚开始也有点害怕，看到就来了二十多个人，欺负他人少；况且来的时候就是要害唐公的命，怎么能见了唐公反而退回去呢？又拿着兵器围了上来，把唐公和家将围在了中间。