张玄素挑选几个忠诚的门客，令他们下去备好一船舶，也扮作商船模样，刻就要启。下属裨将急：“将军这便要弃掉爵，远行？容我将那忧事说完，三而后定夺也不迟啊。”
“那日在越州将军忤逆了皇帝派来的钦差大臣，朝中御史台、三司令撤销将军职，同时调遣杭州府的判日要到达台州来查办将军府，驻地兵营等等事宜……这几日就已经到了，抚使司大人好生待在衙门之中。虽然我们台州城来分守己，募兵演练一按照旧，找不到把柄。可州下郡县、邻里街坊间难免会出差错，其中的纰漏之处大抵会栽赃到将军，我们这边。”
身边的承事郎杜文若心肚事危机，连忙上前劝诫：“张将军切莫要怠慢，事其实是棘手。将军那日抗旨不，按照律法已经是犯了大罪。况且将军是否记得，你曾在朝廷的官员面前多言：‘寻故主’这话，时人皆以为将军口中的故主是叛逆投辽的王爷，是刚刚获罪发配的钱大帅。这两条罪名足以让将军入狱！依我所见，时应该赔罪谢恩，请越州的抚使司去，言两句……”
张玄素哈哈大笑，释然：“哼哼，那就让人都如认为好。张某是布衣，今生有缘能遇见长主，已是三生有幸。又蒙的恩惠至今，方有我张某人今天。关他大宋朝廷何事？竟要我去谢主隆恩；又与这千千万万的人有何相关？”他摘下自己的乌纱帽挂在墙头，将官衔玉佩从腰间摘下封存在案头的匣子里。“容诸替我去告诉那来使、大臣。张某已经出官，畏罪潜逃了。”
这天夜里，张玄素手下的承事郎杜文若担心他举草率、气行事，又亲自去城外的一处住户中找到他，劝谏：“将军若要去，其中途遥远、天气复杂，艰难困苦一言难尽。事虽然紧急，不可草草行事，停船补给、钱粮物资、中途转运都要预备完全，一去万里的。”张玄素见他深夜里赶过来为身负重罪的自己送行，言语恳切，心中悲恸，：“文若数十年来，与子同袍。今日唯你惦记张某。实不相瞒，行虽然仓促草率，是我在闽中与雁荡派掌门曾经善，约为忘年之，泉州、钱塘互市，半数物资要经过台州城来中转，贸易联年。行我算去投奔到他那里，行定夺。”又趁时写了一封信给他：“日后若有人问起张某何处，仍旧我畏罪潜逃便可。我在台州结识有将士兄弟，以后愿彼之间好生相处，拿出我的文书，在张某面子上他们万事不会为难你。”
杜文若下书信藏在自己的贴身衣服内，涕泗横，挽着他的衣袖：“下官十年来一追随将军，将军重重义，心中隐事我又非外人，岂会不。多言语也劝不你，若一去，耽搁日久。何况诸多岛屿中日晒雨淋、水土不服，其中可谓千难万险。能望将军好生重。”张玄素执着他的手，请他万不可在外宣扬事。。
半饷后，杜文若又问：“将军可否掂量着告归？”
张玄素：“年，三年。其中周转自然难以晓，愿能早日和相见。今后愿君为我隐瞒事，不必称呼我为将军。日后见，以江湖之礼相待。”说罢，张玄素晓日杜文若有务在身，不愿他在处久留耽搁，送他到城外山林处，时连绵秋雨刚刚过后，霁色神，野田间陌上边蛙声片片，纵然同在深夜，也不离人心。两人双双抱拳，各自骑马上，挥泪而去。