杨素不孚众望，先后大败高智慧、汪文进、沈玄侩、沈孝彻等人；击杀蔡道人、沈玄侩、沈杰等人，生擒高智慧、沈玄憎、陆孟孙等人，逼迫王国庆等人投降。隋文帝非常高兴，考虑到行军作战的辛苦，打算派人接替杨素，让其回京城修养。杨素认为现在剿叛尚未结束，上书请求暂缓回京，等江南平叛结束后再回京述职不迟。隋文帝杨坚佩服杨素这种锲而不舍的精神，就答应了他的请求。杨素除恶务尽，连续追歼残敌。不到两个月的时间就彻底平定江南之乱，对巩固隋朝统一，稳定生产发展起到了重要作用。
杨素这个人眼眶很高，喜欢与合得来的人共事，不愿与合不来的人交往。另外，杨素治军极严，为人严苛，功过分明。对于不听号令，或者作战不力的人，一律斩杀。但对于有大小之功的人和事绝不遗忘，一律给予厚赏。将士也乐意为他效命。所以，杨素所带之兵无不如狼似虎，凶猛异常。他的军队所到之处无不所向披靡，战无不胜。开皇十二年（592年）腊月，杨素代苏威为尚书右仆射，与尚书左仆射高颎同掌朝政。杨素性格孤傲，在朝臣之中，颇推高颎，尊敬牛弘，厚待薛道衡；蔑视苏威等不喜欢的人。朝中大臣只要与他有过节的，杨素就会千方百计地为难人家。杨素虽然才艺文笔优于高颎，但是治理国家则远不及高颎。杨素灭陈后，居相位达17年之久。
开皇十三年（593年）二月，为了避暑，隋文帝在岐州(今陕西凤翔)之北建仁寿宫，令杨素监造。顺便说一下：仁寿宫就是唐初大名鼎鼎的九成宫，今见魏征撰文，欧阳询书丹的《九成宫醴泉铭》。由于仁寿宫凉爽适宜，非常适合夏季消暑纳凉。仁寿宫最大缺点就是缺乏水源，吃水用水都要靠人力去很远的地方去桃。据说杨素负责建造仁寿宫时，杀了和累死了近万名民工。杨素让监工随便挖个坑埋掉，监工后来干脆将尸体扔在道旁或山谷了事。以致白骨累累。史书说，时值天热，“役夫死者相次于道，杨素悉焚除之”。其残暴程度令人发指。开皇十五年（595年）三月，仁寿宫建成，隋文帝驾临巡视，见宫殿如此奢华，又见到杨素的做法，大怒道：“杨素殚民力为离宫，为吾结怨天下耶”！杨素非常害怕，好在封德彝求情，独孤皇后在旁边为杨素辨解：“杨公知道我们夫妇年老，没有地方娱乐，盛饰此宫，难道不是为了尽忠孝吗”？ 结果杨素不但没有获罪，反而被赐钱百万，锦绢三千段。从此，杨素更得隋文帝的信任。
突厥是隋唐时期北方劲敌。隋开皇十九年（599年），隋文帝杨坚命汉王杨谅为元帅（隋文帝的第五子，未亲临前线），命杨素为云州（今山西大同）道总管，尚书左仆射（宰相）高颎出朔州（今山西朔县），上柱国燕荣出幽州（今北京西南），分三路讨伐突厥。杨素在灵州(今宁夏灵武)以北与突厥首领达头可汗部遭遇。隋军以往与突厥作战，采用方阵抵御或者进攻。所谓方阵，就是将兵车和障碍物摆列在四周，骑、步兵摆在中间。好处是能保护自己，铁甲勇士藏在兵车和障碍物里，用长矛，大枪等与敌军交战。缺点是追击、撤退速度太慢。容易贻误战机。杨素亲自组织队形：将骑兵布置在外，步兵在内，兵车、障碍物放在二者之间，敌人来势凶猛，骑兵迅速转在方阵后面，步兵便于协同铁甲军防御；我方追击时，骑兵迅速出击，步兵铁甲军协同跟进，速度也快了许多。同理，撤退时，有骑兵保护，步兵帮助铁甲兵转移方阵也快了许多。
突厥见杨素部这样部署，非常高兴，以为借自己的军队彪悍、锋利弯刀可以大开杀戒。开战后，杨素派一小支精锐骑马与之周旋，然后退入方阵。突厥见到方阵无计可施，反而死伤过多。达头可汗打算回撤时，他们背后突然出现大批隋军骑兵，两面夹击，突厥大败。达头可汗也身负重伤，只好狼狈四处分散逃窜。次年（600年）孟夏四月，突厥步迦可汗率兵进犯隋朝边境。隋文帝命晋王杨广元帅，杨素任灵州（今宁夏灵武西南）副元帅；接着又令汉王杨谅为元帅、上柱国史万岁任朔州（今山西朔县）副元帅；两部合击突厥步迦可汗，获得大胜。
杨广为培植自己的势力，亲自与杨素结交，杨素也知杨广有夺位之心，遂投其门下，从此二人狼狈为奸。仁寿初年（601年），杨素因军功卓著，借助晋王杨广，皇后独孤伽罗等之力，取代高颎任尚书左仆射。隋文帝赏赐给他许多好马、奴婢和护院。同年，杨坚又拜杨素为行军元帅，前往云州攻打突厥。杨素连连破敌，从此，碛南州（今新疆塔克拉玛干沙漠之南）再也没有突厥人的踪迹了。
杨素功劳极大，也干了不少坏事。前面说过，负责建造仁寿宫，累死、热死和打死的就不下万人。杨素经常在隋文帝、独孤皇后面前阿谀奉承。伙同杨广（即隋炀帝）等人天天说杨勇的坏话，由此废黜并害死了太子杨勇，迫使隋文帝改立晋王杨广为太子；杨素还同时陷害了上柱国史万岁、隋文帝的第四子蜀王杨秀等一大批文臣武将。
隋文帝晚年疑心很重，除了少数几个人，其他人基本不信。杨素就是这少数的一个。当初太子杨勇废为庶人后，交给杨广管制，杨广巴不得杨勇早一点死去，对杨勇百般折磨。杨勇知道自己的罪名是由杨广、杨素等人罗织的，请求见到父亲申述清白。杨广当然不肯，将他关在深宅大院里严加看管。杨勇有天爬到大树上呼喊，希望能传到隋文帝耳朵里。没想到消息还真的传到了隋文帝耳朵里。杨坚问杨素怎么回事儿？杨素却说“（杨）勇情志昏乱，为癫鬼所著，不可复收”。隋文帝信以为真，拒不召见杨勇。由此可见杨素阴狠毒辣的一斑。仁寿四年（604年）秋，隋文帝病重，发现太子杨广昏庸无道，想召见杨勇并传位与他。杨素得知消息，马上报告了杨广，并与杨广密划对策，杨素假传圣旨派东宫的士兵入宫守卫，出入都由宇文述、郭衍决定，又命令张衡守候隋文帝的病情。杨广亲自探视，隋文帝就在当晚驾崩，因此朝廷内外有很多非议。
隋炀帝继位后，召弟弟杨谅回朝，杨谅知道这是隋炀帝的计谋，想骗自己回去杀害。杨谅决定以“清君侧”、讨伐杨素为名起兵谋反。他说杨素虽是隋朝重臣，但帮着燕国陷害杨勇和杨秀，助杨广争夺皇位。现在先皇死因不明，很可能也是杨素策划的。杨素得知叛军打着讨伐自己的名号起兵，就主动带兵平叛。杨素兵多将广，军事谋略略高一筹。杨谅兵败投降，后被囚禁致死。
隋炀帝大业元年（605年），杨广升杨素为尚书令（相当于丞相），不久又拜为太子太师，其他职务不变。赏赐他东京（洛阳）上等府第一处，织物两千段。其他东西不计其数。杨素依仗自己富足的钱财，广求家产，东、西二京他的居宅奢侈华丽，杨素喜欢折腾，许多房屋、亭台早晨拆毁晚上重建，营造修缮从未停止过。他还在各地开有旅店、购买田产。仅华丽的房产就以千百间来计算。大业二年（606年），杨广再拜杨素为司徒，又改封他为楚公，食邑两千五百户。当时，太仆少卿(掌管朝廷车马的副长官)宇文化及善于溜须拍马，经常能摸准隋炀帝的心思，杨广喜欢喜欢什么，宇文化及预先就为他办到。因此宇文化及很得隋炀帝欢心。于是杨广开始慢慢疏远了杨素，接近宇文化及等人。杨素位高权重，成了杨广的拦路石，杨广对其颇为忌惮，巴不得杨素早一点死去。
杨素卧病在床的时候，杨广经常明面上派一些名医生前去为其诊治，赐给他许多上好的药品，暗地里询问医生杨素什么时候死去。杨素知道自己的名位已到了极限，也知道杨广的心思，就不肯吃药。他曾对弟弟杨约说：“我还有活下去的必要吗”？杨素曾经作了一首共七百字的五言诗送给番州刺史薛道衡，气势非常宏大，风韵出众，堪称一时的上乘之作。写好后没几天，杨素就死了。薛道衡叹息说：“人之将死，其言也善，难道杨太师也是这样的吗”？前面说过，杨素喜欢对眼之人，哪怕是白丁和兵士也愿意接近。不喜欢的人，就是达官显贵他也不愿多看一眼。他还赏识、指点过后来大唐名将名相李靖李药师。
杨素留有文集十卷。杨广追赠他为光禄大夫、太尉公及弘农、河东、绛郡、临汾、文城、河内、汲郡、长平、上党、西河等十郡太守，谥号“景武”。赐给他载丧的鍂（piān）车、执斑剑的仪仗队和专门乐队，另赐给谷子、小麦五千石、织物五千段，专门派鸿胪卿监督办理丧事，并特下诏书悼唁。
关于杨素的死因，史书也众说纷纭，比较靠谱的说法是：隋炀帝赐毒酒给杨素，杨素与元德太子共饮，二人俱死。但不管原因怎样，杨素与隋文帝杨坚一样均非善终。杨素死后，长子杨玄感继承了他的爵位。后来杨玄感起兵事败遭诛杀，杨素的子孙也因杨玄感的牵连而被诛灭。
隋文帝杨坚说：“越国公素，志度恢弘，机鉴明远，怀佐时之略，包经国之才”。 隋开国名将贺若弼说：“杨素是猛将，非谋将；韩擒（虎）是斗将，非领将；史万岁是骑将，非大将”。唐太宗李世民说：“杨素欺主罔上，贼害良民，使父子道灭，逆乱之源，自此开矣”。 曾国藩说：“古来如李斯、曹操、董卓、杨素，其智力皆横绝一世，而其祸败亦迥异寻常。近世如陆、何、肃、陈亦皆予知自雄，而俱不保其终。故吾辈在自修处求强则可，在胜人处求强则不可”。后人认为：杨素是名将，但不是好相；作战一流，从政三流；有大功于国，有大过于隋；因助杨广上位，也因杨广而死；因阴狠毒辣入仕，也为阴险毒辣而亡。难道是冥冥定数吗？
