没过多久,京城内闹得沸沸扬扬。百官听说这事以后,都非常吃惊。很多大臣想上表进谏,又恐怕多言获罪,朝堂上下议论纷纷。这事惊动了一个臣子,姓苏名威,官居尚书左仆射,为人秉性刚直,直言敢谏。他听说这事以后,挺身而出,说道:“选美女,不符合天子以德治天下的古训,不能不进谏劝阻。”于是连夜写了一道奏折,第二天早晨送到金殿。这一天炀帝没有上朝,所有的奏折都让送到了宫里。炀帝在宫中把苏威的奏折展开一看,只见上写道:
尚书左仆射臣苏威,稽首顿首,奉表于皇帝陛下:臣闻佚乐非所以治身,淫风不堪以教世。国家常丧于妖妃,社稷多倾于粉黛。故古之圣帝明王,莫不以色为戒。今陛下登基不久,正应当励精图治,洁身以正四方,无为而治天下,不可派太监广求美女,玷污先皇留下的太平盛世,损害圣上的英名!这些太监一出去,一定会倚势横行,刁勒骗诈,让百姓受害不已。希望陛下念先皇创业艰难,收回成命,恬淡居心,以臻至化,则四海苍生幸甚,社稷幸甚。臣不胜惶恐,冒死进谏。
炀帝看了以后勃然大怒,说道:“这厮怎么敢阻拦朕的旨意!”立即下了一道圣旨:“苏威作为臣子诽谤君父,本来应当重重处罚,念其是先朝老臣,削职为民,永不录用。如有再谏者,斩!”百官见苏威被免职,都很吃惊,商议道:“此事非杨素不能挽回。”大家就约在一起来见杨素。原来杨素自从炀帝登基以后,位高权重,平常一般不上朝。如果遇到疑难大事,百官少不得要到府中来请问,他每天在家只是与姬妾们饮酒娱乐。这一天百官一起来到越公府的时候,杨素因为喝醉了还没有起床。众官又不敢催逼,又不敢退去,只得在府中等候。等了很长时间,将近中午的时候,杨素才慢慢地走了出来。他没有穿朝服,头戴着一道:“我这里有无数的文官武将,哪一个不是忠臣义士,为何单单在乎你一个人?”王义说道:“忠义乃是国家之宝,一国之君经常担心忠义之人不够多,哪有嫌太多而抛弃的道理呢?况且忠诚的犬马人人都喜欢。臣虽然是远方的废民,其实有关风化,陛下难道忍心抛弃我吗?”炀帝大喜,重赏了来进贡的人,就把王义留了下来。
从此以后,炀帝每次临朝,或者在偏殿里议事,或者在各处游玩,都把王义带在身边。王义凡事小心谨慎,说话做事都很体贴,让炀帝很舒服,所以炀帝十分喜欢他。后来渐渐用习惯了,炀帝越来越离不开他了,时刻都想让他在身边,只是王义虽然矮小,毕竟是个男人,不能入宫。