但是，杨广不想看到的局面却在他和张、王两位仆射构和政务的同时就已经呈现了。享有专悃之权的河北道行军元帅杨爽部下的前锋大将，行军总管燕荣已带领两万先头军队北出雁门关，进驻到了百里以外的白道州，拟待杨爽亲率雄师赶到白道州时，即持续向北挺进，锋芒直指都斤山南面的突厥重镇――五原城。
王韶也起家拱手道：“王爷所言甚是，关东世家中以河北诸州府世家豪右权势最为庞大，像范阳卢氏、赵郡李氏如许的天下高门望族，其门人故吏可谓是遍及朝野，已渐成尾大不掉之势，如不采取雷霆手腕严加束缚、整饬，今后必成大祸。如王爷方才所说，简拔官员到河北任职，慢慢裁汰旧齐故吏固是一法，但如能收拢河北诸世家豪右之心，使其为朝廷效命，岂不更加便利之法？”
王韶本人就出身于世家豪右之一的并州王氏，并且现任行台兵部尚书的李雄出身于赵郡李氏，他二人皆称得上是河北世家豪右中忠心报效朝廷的代表。是以，杨广听王韶建议本身恩威并施，双管齐下，以拉拢河北世家豪右和大隋朝廷站到一边来为主，以采纳各种体例侵削他们的权势范围为辅来对待河北世家豪右，内心虽觉他讲得有些事理，但因他本人就出身世家豪右，同时也不免对他这番话有所保存。
“我有伤在身，常日里行动不便，你们替我留意着些，如果哪一天卫王决定率军出关，须当及时报与我知，切不成有所坦白。”眼看着与处罗喉先前商定的两个月刻日将至，杨广担忧在最后关头六叔会捍然率军出关，乃至功亏一蒉，使他欲履行长孙晟提出的“离强合弱”的长远战略落空，故才对两位行台仆射有此交代。
杨广本来只是想向两位行台仆射直言相告有州府衙署和本地世家豪右暗中勾搭，对抗朝廷之事，提请他们加以防备，却未曾猜想到张威会是以主动要求本身惩罚他，忙在榻上欠身伸手虚扶道：“张仆射言重了。本王已察知，河北道治下十九座州府数千名官吏中，十之七八皆是旧齐故吏，父皇尚出于不得已要任用这些人，张仆射到河北道行台上任才不过数月，又何来渎职之过呀？不过，由此一事，也须倍加留意，待北境局势趋稳后，应禀明朝廷，尽快简拔一批忠心报效朝廷的官员来河北任职，逐步减弱本地世家豪右的权势。”
当杨广得知杨爽已命前锋军队于两天前北出雁门关的动静后，情知两个月前与处罗喉所做的商定即将再次化为泡影，遂也不再对峙劝止杨爽率军出关，主意向突厥建议打击，而是要求杨爽辨别对待突厥各部，集合兵力对雍虞闾所率沙钵略部族军队停止重点打击，尽量制止与处罗喉所部军队产生正面抵触。
燕荣率军解缆的第三天，也就是张、王两位行台仆射返回并州的次日，杨爽主动约了两位行台仆射，亲身来向杨广告别。
裴矩走后，杨爽因顾及到杨广方才受伤跌断了腿，不欲和他复兴纷争，耐着性子在并州城内又坐等了两天，仍未能等到处罗喉压服沙钵略从西北撤兵的动静，因而便当机立断，传命给前锋大将燕荣，要他带领两万雄师先行北出雁门关，赶到白道州驻扎，随时等待本身的将令，向五原城建议强攻。
这一回，连多与杨广政见相左的行台左仆射张威也对杨广借弘扬佛法之机欲图收拢民气的筹算表示了死力附和，而行台右仆射王韶在表示了支撑的同时，还提示杨广道：“王爷，据下官所知，前朝攻灭前齐后，曾下诏严令僧尼出家，有为数很多的僧尼困于生存，只得寄身于本地世家豪右门下为奴。下官此次赴诸州府催促规复春耕的半道上，已传闻了诸州府的数十位世家豪右代表会聚并州，前来向王爷索还应征参军之家奴，倘若王爷欲在河北道治下诸州府重倡佛法，一旦传令先前削发修行之僧尼重回梵刹，会不会再次引来世家豪右的反对呢？王爷不成不预作防备。”