吏部侍郎臣裴矩，诚惶诚恐，稽首顿首，奉表于皇帝陛下：臣听说治理国家以生财为本，抵御外国以树德为先。天下货物互通有无，从古至今乃是人之常情。所以古代帝王对付外国，如果叛逆就讨之以威，如果归顺则怀之以德。现在西域各国，惧怕中国的威严，年年纳款，岁岁来朝，心中早就臣服了。现在又想与中国进行贸易的原因，是因为仰慕我中华的文明而做出的表示友好的行动，如果拒之门外，虽然我国之威足以震慑对方，而德行却不能感化他们。况且在西域开市有五大好处：以中国罗缎帑帛，换海外珠玉异宝。其利一也。贸易一开，则彼此得利，彼此得利，就会关系融洽；关系融洽，边疆就没有战争之忧，其利二也。西域各邻国臣服以后，更远的国家就会接踵而来，不用战争就能使远方的人归顺，其利三也。关系融洽以后，慢慢派人查清外国的山川地理，绘成地图，就可以成就秦皇、汉武那样的功劳，其利四也。如今天下富强，前所未有，如果再把西域各国连为一家，就能超过三皇、胜过五帝，而让后人敬仰，其利五也。希望陛下英明果断，主持在西域开市，那么不但一年所得的利润不下百万，而且确保边疆安稳如泰山；如果犹豫不决，坐失良机，就会阻绝人情，不但边境不会太平，而且还会有想不到的灾难。望圣上批准为盼！
炀帝看完以后，非常高兴，说道：“爱卿陈列的五大好处，大有识见，可以看出爱卿为了国家深谋远虑，只是担心外国别有用心，欺诈我们。”裴矩说道：“我国国富民强，兵精粮足，即使他们有诈，也不必太担心。只要有一个既能随机应变，又老成稳重的人负责这个事情就行了。”炀帝说道：“此事责任重大，非卿莫属。”说完，当即拟了一道圣旨，让宣旨官宣读：“任命裴矩以原官职住扎在张掖等地，负责西域开市。安近怀远，一定要宣扬德化。授予裴矩临机应变的的权利，不能挑起事端。立功以后另行升赏。”
裴矩刚刚谢恩领旨，班中又闪出一人，此人长得方面长髯，高颧大耳，威风凛凛，相貌堂堂，跪在地上奏道：“西域开市，有三大害处。裴矩乃是一介书生，不了解情况，反而说有五大好处，妄言误国，请圣上处分他。”炀帝一看，乃是兵部尚书段文振。就问道：“西域开市有哪三大害处？裴矩如何误国？”段文振奏道：“西域开市，各外国的东西不过是珠玉犀象，冷了不能当衣穿，饿了不能当饭吃，却以中国的绫绵帛和他交易，这是拿有用之物换无用之物，这是其一；张掖乃是边防重地，开市就会引狼入室，外国狼子野心，居心叵测，如果发生什么变故，为祸不小，这是贪图小利而招来大祸，这是其二。既然开市通好，那么我们是主人外国是客人，来往必须迎送，住处必须供给。外国人就会络绎不绝，来到我国，各地的老百姓就会疲于奔命，忙于应付，不得安生。这是慕虚名而受实祸，这是其三。西域开市有这三大害处，而裴矩却贪图富贵，妄言惑主，难道不是误国吗？”裴矩说道：“段文振该杀！以钱币棉帛换无价之宝，利润可达百倍，他却认为没有用，如果说珠玉没有用，那么金钱也不可以穿，也不可以吃，也是没有用的东西吗？我们有强大的武力做后盾，外国虽然居心叵测，还能翻天不成？况且古代的帝王，都以诚心待人，胡越一家，从来没听说过因为担心而拒绝他们的。况且远方的客人到来，供给的费用有限，谈不上让老百姓疲于奔命。相反，如果因为这事激起兵变，必然要派大军出征，每天都要消耗大量的物资，那才是让老百姓疲于奔命。依段文振所言，是不想让朝廷得利，是想让陛下做柔懦之主，不愿意让陛下做仁圣英略的帝王。”炀帝听了裴矩的话，说道：“明明是利，反说有害。段文振打得什么主意！”段文振说道：“陛下安享先帝创下的太平盛世，没有带过兵，不知道边防的利害。如果听从裴矩的花言巧语，一定会有社稷之忧。”炀帝大怒，用手拍着龙案说道：“段文振欺朕没有带过兵，朕偏要开市，看看到底有没有社稷之忧！口出狂言，诽谤君父，本来应当重重治罪，念你是先朝老臣，不予追究。如果再敢胡言乱语，定斩不饶！”段文振想再说几句，炀帝却气冲冲地回宫去了。段文振叹一口气，说道：“皇上不听老臣之言，要不了十年江山就会瓦解。”然后闷闷不乐地走出了朝堂。
裴矩领了旨意，满心欢喜，回到家里以后，先准备了一份厚礼，送给杨素，恐怕他出来拦阻，又准备了一份礼物感谢王忠。然后立即收拾行礼，拿着圣旨到西域去了。
裴矩来到张掖，各镇守边关的将领接住参见。裴矩传旨说道：“皇上见了你们要求开市的文书，非常赞成，命令本官住扎在张掖，专门负责这个事。与外国做交易，一定要以贱换贵，以少换多，千万不能因此事对国家不利。”众将都拱手说道：“一定遵从旨意。”然后裴矩一面贴出告示，招集商人，采买缎帛，一面在城门上插起一面黄旗，上面写着：“奉旨开市”。又吩咐各镇守将，发文书通知所有的人；又建造许多旅馆驿站，好让来做买卖的外国人居住；又命令外国人经过的各郡县地方，凡是有外国人，都要提供食宿，不许怠慢。号令一发出去，没过多久，西域各个国家都知道了，都带着海外的宝物，到张掖来交易。真个利源一开，熙熙攘攘而来。中国的锦绣，堆积如山；海外的宝物，斗量车载。彼此互换，换了又来，来了又去。外国人来来往往，络绎不绝。裴矩与各镇守将，从中渔利，都发了大财。可怜那些经过的郡县，送往迎来，一时一刻都不得安宁。搞得百姓疲敝，仓廪空虚，一年的花费不下百万。各郡县支撑不住，都写文书到裴矩的衙门来诉苦。裴矩却拿圣旨来吓唬人，哪里管这些人的死活。正是：
在廷谁最恶？独有利臣凶。
只为一身计，教他万姓空。
裴矩经常派人把名马犀象，及各样奇珍异宝送到京城进贡，又经常摆酒宴款待那些外国人，仔细打听各国的山川形势风俗，都画成图样，共计四十四国，合成三卷，总名叫做《西域图记》，献与炀帝。炀帝看了，满心欢喜，对萧后说道：“原来外国的山川风景，也如此秀美，如果不是在西域开市，怎么能够知道呢！段文振那个家伙拼命阻拦，朕几乎被他误了。他又笑朕安享太平基业，不知边疆时事。朕想亲临蓟北，访问各国。一来可以观赏观赏西域各国的山川美景，二来可以考察考察塞外的风土人情，三来让天下人都知道知朕是英雄之主，四来又可以收回杨素的兵权。不知御妻以为何如？”萧后说道：“这个想法很好！从古至今，天子都有巡狩的习惯。后来那些昏庸的皇帝只知道在宫中享乐，把这个习惯废了。陛下如果愿意恢复古人的习惯，确实是个盛大的典礼，有什么不可以的呢！”炀帝大喜，于是就决定要巡狩蓟北
。第二天早朝，炀帝在金銮殿上面对文武百官，说道：“朕听说古代的圣帝明王，都巡狩天下，亲自查访民间疾苦。后来南方的这些皇帝只知道锦衣玉食，美女脂粉，坐在深宫中受用，从来不愿意和百姓相见，这和妇人女子有什么不同吗？朕实在看不起他们。现在朕想趁着天下太平，兵精粮足，亲临边境，访问各国，举行三皇五帝的圣事，请各衙门一面聚集兵马，一面装载辎重，朕要择吉起程。”百官一齐奏道：“现在天下太平，边疆无事，陛下何必亲自到那些偏远荒蛮之地巡狩呢？虽然古有先例，不免劳民伤财。望陛下三思！”炀帝很不高兴，说道：“作为臣子应当想着让天子成为尧舜那样的皇帝，才是有德的忠臣。你们不让朕去，只是爱惜小财，却让朕学那些不知世务的皇帝，是何道理！再敢强谏，定加重罪！”