固然对于杨广做天子之前的一些事情史乘成心忽视而没有很详细的记录，但是在杨广再次以皇子的身份下江南的表示仍然能从一些事件中看到。杨广到了扬州后没有像杨素一样直接带领雄师把兵变者弹压，但是他还是以他特有的攻心战术胜利地招安了多量叛这。如吴郡世族陆知命，在三吴地区人望极高，杨广亲身延请他出面晓谕叛者，使十七城叛者纳城迎降。
杨素晓得天子的心机，以是闻召即归，表示并无异心，而后仍以余寇未靖，请再出师。杨坚看到他见诏即回并无不忠之心，且儿子杨广已经到了江南。便下诏给返京途中的杨素剿说：“朕忧劳百姓，日旰忘食，一物失所，情深纳隍。江外狂狡，妄构妖逆，虽经殄除，民未安堵。犹有贼首凶魁，流亡山洞，恐其聚结，重扰百姓。内史令、上柱国、越国公素，识达古今，经谋长远，比曾推毂，旧著威名，宜任以大兵，总为元帅，宣布朝风，振扬威武，擒剪叛亡，慰劳黎庶。军民事件，一以委之”。
杨坚擅权时，杨素知杨坚甚得众心，且有称帝之意，遂主动投到杨坚门下，与其交好。杨坚也知杨素之才，对其也非常正视，不久便以杨素为汴州刺史。后为行军总管插手过讨伐尉迟迥，不久任大将军，领河内兵打败宇文胄军，斩宇文胄。因功迁徐州总管，进位柱国，封清河郡公，邑二千户。其弟杨岳也被封为临贞公。杨坚即位后，杨素任上柱国，并参与了隋朝法律的修定。开皇四年(584年)，拜御史大夫。因为其妻郑氏是个泼妇，杨素一次与其吵架说了一句：“我若作天子，卿定不堪为皇后”。成果被其妻告密，杨素是以开罪，并被免官。幸亏杨坚一向筹办灭亡陈朝，同一中国，杨素曾数次献伐陈之策，此次被免官后，杨素再次献伐陈之策。开皇五年(585年)十月，知杨素才气的杨坚让他担负信州总管，经略长江上游，后为行军元帅与杨广南征灭陈。杨素带领水军在长江上游打的南陈将领心惊胆战，他带领的水军气势弘大，大小战船铺满了整了江面，旗号盔甲在阳光下素净刺眼。而杨素本人端坐在平乘大船之上，面貌体格雄浑魁伟的他让南陈将领望而生畏，都说：“清河公就是长江之神啊！”平陈后因功册封越国公，以其子杨玄感为仪同，杨玄奖为清河郡公。赐物万段，粟万石，加以金宝，又赐陈后主妹及女妓十四人。后又代替去了并州的杨广任内史令成为宰相之一。
因而杨素持续率军由会稽走海道向泉州追击。时泉州人王国庆为南安豪族，杀刺史刘弘，据州为乱，各处流亡的叛军皆附于他。王国庆自发得海路险阻，而隋军多为北方人，不习海战，遂不设防。杨素率海军从海道掩至，王国庆大惊，弃州逃窜，其众或入海岛，或守溪洞。因而杨素分遣诸将，水、陆分进追捕。并派人密劝王国庆：“尔之罪行，计不容诛。唯有斩送聪明，能够塞责”。王国庆为了保命因而抓获投奔本身的高聪明，送交隋军，杨素将其斩首，余众全数投降。
杨素带兵兵变，一起势如破竹，但是杨坚征召的儿子杨广却还没有到江南，因而杨坚担忧杨素久在江南领兵对朝廷倒霉便以杨素久战于外，驰派遣京，慰劳备至，赏赍更厚，当时赐彩物三千段，并加封其子玄感为上开府。这江南兵变方才平的差未几的时候杨坚就吃紧派遣统兵的杨素，就是因为儿子不在他不放心军队把握在别人的手里。