由于这一波折，原定的多项改革措施只有一样马上便颁布推行，那便是“改土归流”。自汉代以来，中国古代对于边疆少数民族地区，大多采取羁縻制度，即利用少数民族的旧贵族对其进行间接统治，到宋代改称为“土官制度”。
这种制度虽然可以大大降低朝廷对边疆地区的统治难度，但因为世袭土官在当地本有根基，所以那些地区事实上成为了独立王国。而且因为那些土官本来就是当地领，即使受到朝廷册封也会认为是理所当然的，而基本上不会有感恩之心。中央政权强盛时还好，一旦衰落下去，这些地区很可能就乘机自立了，对中国来说等于是“竹篮打水一场空”。
同时，土官制度与直接占领相比，虽然在短期内可以节省朝廷开支，但因为其长期享有税赋减免的特权，朝廷又因为面子的缘故而不时给予丰厚的赏赐，在经济上将一直得不偿失，而由于某些土官常怀谋叛之心，朝廷有时甚至是在出钱资助自己将来的敌人，世上最愚蠢的事莫过于此。
另外，土官本就是旧势力的代表，其中的绝大多数都固执地排斥从汉民那里传来的先进文化，不但阻挠了民族融合，而且对边疆民族地区摆脱贫穷落后的状况也极为不利。而且土官的权力太大，普遍目无法纪，其中鱼肉乡里的也不在少数，而朝廷却习惯于息事宁人，不但令受害者有冤难诉，也很自然对朝廷心寒，心中本就不强的国家认同感就更加淡薄了
所以，无论从哪个方面来看，“改土归流”都是势在必行，而且这一改革不会触犯士大夫们的利益，朝堂上的阻力较小。而由于统治中心南移，南宋朝廷对于岭南地区的控制力较北宋时期大大增强，再加上此时岭南地区实施土官制度的时间还不长，那些土官根基较浅，而且当地原住民也大多还未形成明确的民族认同，所以只要用人得当，朝廷派出的流官应该不难扎下根来。岭南的改革，将会为新制度积累足够的经验，时机成熟后，再到工作难度更大的北方诸蕃聚居区和大理等地推行，就要容易得多了。
其实早在赵旉让人提出此议之前，几乎历朝历代都有聪明人意识到了这一问题，不过当权者普遍怕麻烦，才一直未能实施。所以赵旉旧事重提后，这项改革很快就开始落实下来，虞允文的性格缺陷在这件事上却体现出了巨大的优越性。正是由于其雷厉风行的工作风格，这项在历史上磨磨蹭蹭花了几百年时间才在清雍正年间基本完成的改革，只过了三年时间在形式上就差不多全搞定了。
虽然其间也爆了一些不必要的摩擦，但长痛不如短痛，以后大宋境内各民族之间的交流不再有人为的桎梏，国家认同感迅得到了增强，而大宋的后方也更加安定繁荣。
而且在此期间赵旉还有了一个意外的收获，由于早有准备，赵旉曾经专门为开岭南培养了一批中下层官吏，虽然时间仓促，这些人的学识能力未必有多么出色，但比起大宋官场上那些只知捞钱与和稀泥、却不会做事的家伙总要强得多，而且他们还接受了当地语言的培训，这是很大的优势。
再加上虞允文对第一批流官的工作状况异常重视，进行了相当严格的审查，结果没过多久绝大部分科举出身的流官都被刷了下来，而代之以干得更好而得到提升的小吏。结果，在不知不觉中，岭南的大部分地盘都被赵旉一手培养出的人才所控制，这使得赵旉的改革在那些原本相对落后的民族地区反而进度极快，对坚定赵构的决心挥了不可估量的作用