初，楊素嚐以少譴敕送南台，命治書侍禦史柳彧治之。素恃貴，坐彧床。彧從外來，於階下端笏整容謂素曰：“奉敕治公之罪！”素遽下。彧據案而坐，立素於庭，辨詰事狀。素由是銜之。蜀王秀嚐從彧求李文博所撰治道集，彧與之；秀遺彧奴婢十口。及秀得罪，素奏彧以內臣交通諸侯，除名為民，配戍懷遠鎮。
帝使司農卿趙仲卿往益州窮按秀事，秀之賓客經過之處，仲卿必深文致法，州縣長吏坐者太半。上以為能，賞賜甚厚。
久之，貝州長史裴肅遣使上書，稱：“高熲以天挺良才，元勳佐命，為眾所疾，以至廢棄；願陛下錄其大功，忘其小過。又二庶人得罪已久，寧無革心！願陛下弘君父之慈，顧天性之義，各封小國，觀其所為：若能遷善，漸更增益；如或不悛，貶削非晚。今者自新之路永絕，愧悔之心莫見，豈不哀哉！”書奏，上謂楊素曰：“裴肅憂我家事，此亦至誠也。”於是征肅入朝。太子聞之，謂左庶子張衡曰：“使勇自新，欲何為也？”衡曰：“觀肅之意，欲令如吳太伯、漢東海王耳。”肅至，上麵諭以勇不可複收之意而罷遣之。肅，俠之子也。
楊素弟約及從父文思、文紀、族父忌並為尚書、列卿，諸子無汗馬之勞，位至柱國、刺史；廣營資產，自京師及諸方都會處，邸店、碾磑、便利田宅，不可勝數；家僮數千，後庭妓妾曳綺羅者以千數；第宅華侈，製擬宮禁；親故吏布列清顯。旣廢一太子及一王，威權愈盛。朝臣有違忤者，或至誅夷；有附會及親戚，雖無才用，必加進擢，朝廷靡然，莫不畏附。敢與素抗而不橈者，獨柳彧及尚書右丞李綱、大理卿梁毗而已。
始，毗為西寧州刺史，凡十一年，蠻夷酋長皆以金多者為豪雋，遞相攻奪，略無寧歲，毗患之。後因諸酋長相帥以金遺毗，毗置金坐側，對之慟哭，而謂之曰：“此物饑不可食，寒不可衣，汝等以此相滅，不可勝數，今將此來，欲殺我邪！”一無所納。於是蠻夷感悟，遂不相攻擊。上聞而善之，征為大理卿，處法平允。
毗見楊素專權，恐為國患，乃上封事曰：“臣聞臣無有作威作福，其害於而家，凶於而國。竊見左仆射越國公素，幸遇愈重，權勢日隆，搢紳之徒，屬其視聽。忤旨者嚴霜夏零，阿旨者甘雨冬澍；榮枯由其唇吻，廢興候其指麾；所私皆非忠讜，所進鹹是親戚，子弟布列，兼州連縣。天下無事，容息異圖；四海有虞，必為禍始。夫奸臣擅命，有漸而來，王莽資之於積年，桓玄基之於易世，而卒殄漢祀，終傾晉祚。陛下若以素為阿衡，臣恐其心未必伊尹也。伏願揆鑒古今，量為處置，俾洪基永固，率土幸甚！”書奏，上大怒，收毗係獄，親詰之。毗極言“素擅寵弄權，將領之處，殺戮無道。又太子、蜀王罪廢之日，百僚無不震竦，唯素揚眉奮肘，喜見容色，利國家有事以為身幸。”上無以屈，乃釋之。
其後上亦寖疏忌素，乃下敕曰：“仆射國之宰輔，不可躬親細務，但三五日一向省，評論大事。”外示優崇，實奪之權也。素由是終仁壽之末，不複通判省事。出楊約為伊州刺史。
素旣被疏，吏部尚書柳述益用事，攝兵部尚書，參掌機密；素由是惡之。
太子問於賀若弼曰：“楊素、韓擒虎、史萬歲皆稱良將，其優劣何如？”弼曰：“楊素猛將，非謀將；韓擒虎鬬將，非領將；史萬歲騎將，非大將。”太子曰：“然則大將誰也？”弼拜曰：“唯殿下所擇！”弼意自許也。
交州俚帥李佛子作亂，據越王故城，遣其兄子大權據龍編城，其別帥李普鼎據烏延城。楊素薦瓜州刺史長安劉方有將帥之略，詔以方為交州道行軍總管，統二十七營而進。方軍令嚴肅，有犯必斬；然仁愛士卒，有疾病者親臨撫養，士卒亦以此懷之。至都隆嶺，遇賊，擊破之。進軍臨佛子營，先諭以禍福。佛子懼，請降，送之長安。
文帝仁壽三年（癸亥，公元六〇三年）
秋，八月，壬申，賜幽州總管燕榮死。榮性嚴酷，鞭撻左右，動至千數。嚐見道次叢荊，以為堪作杖，命取之，輒以試人。人或自陳無罪，榮曰：“後有罪，當免汝。”旣而有犯，將杖之，人曰：“前日被杖，使君許以有罪宥之。”榮曰：“無罪尚爾，況有罪邪！”杖之自若。
觀州長史元弘嗣遷幽州長史，懼為榮所辱，固辭。上敕榮曰：“弘嗣杖十已上罪，皆須奏聞。”榮忿曰：“豎子何敢玩我！”於是遣弘嗣監納倉粟，揚得一糠一粃，皆罰之。每笞雖不滿十，然一日之中，或至三數。如是曆年，怨隙日構。榮遂收弘嗣付獄，禁絕其糧，弘嗣抽絮雜水咽之。其妻詣闕稱冤，上遣使按驗，奏榮暴虐，贓穢狼籍；征還，賜死。元弘嗣代榮為政，酷又甚之。
九月，壬戌，置常平官。
是歲，龍門王通詣闕獻太平十二策，上不能用，罷歸。通遂敎授於河、汾之間，弟子自遠至者甚眾，累征不起。楊素甚重之，勸之仕，通曰：“通有先人之弊廬足以蔽風雨，薄田足以具｛衍食｝粥，讀書談道足以自樂。願明公正身以治天下，時和歲豐，通也受賜多矣，不願仕也。”或譖通於素曰：“彼實慢公，公何敬焉？”素以問通，通曰：“使公可慢，則仆得矣；不可慢，則仆失矣：得失在仆，公何預焉！”素待之如初。
弟子賈瓊問息謗，通曰：“無辯。”問止怨，曰：“不爭。”通嚐稱：“無赦之國，其刑必平；重斂之國，其財必削。”又曰：“聞謗而怒者，讒之囮也；見譽而喜者，佞之媒也；絕囮去媒，讒佞遠矣。”大業末，卒於家，門人諡曰文中子。
突厥步迦可汗所部大亂，鐵勒仆骨等十餘部，皆叛步迦降於啟民。步迦眾潰，西奔吐穀渾；長孫晟送啟民置磧口，啟民於是盡有步迦之眾。
帝使司農卿趙仲卿往益州窮按秀事，秀之賓客經過之處，仲卿必深文致法，州縣長吏坐者太半。上以為能，賞賜甚厚。
久之，貝州長史裴肅遣使上書，稱：“高熲以天挺良才，元勳佐命，為眾所疾，以至廢棄；願陛下錄其大功，忘其小過。又二庶人得罪已久，寧無革心！願陛下弘君父之慈，顧天性之義，各封小國，觀其所為：若能遷善，漸更增益；如或不悛，貶削非晚。今者自新之路永絕，愧悔之心莫見，豈不哀哉！”書奏，上謂楊素曰：“裴肅憂我家事，此亦至誠也。”於是征肅入朝。太子聞之，謂左庶子張衡曰：“使勇自新，欲何為也？”衡曰：“觀肅之意，欲令如吳太伯、漢東海王耳。”肅至，上麵諭以勇不可複收之意而罷遣之。肅，俠之子也。
楊素弟約及從父文思、文紀、族父忌並為尚書、列卿，諸子無汗馬之勞，位至柱國、刺史；廣營資產，自京師及諸方都會處，邸店、碾磑、便利田宅，不可勝數；家僮數千，後庭妓妾曳綺羅者以千數；第宅華侈，製擬宮禁；親故吏布列清顯。旣廢一太子及一王，威權愈盛。朝臣有違忤者，或至誅夷；有附會及親戚，雖無才用，必加進擢，朝廷靡然，莫不畏附。敢與素抗而不橈者，獨柳彧及尚書右丞李綱、大理卿梁毗而已。
始，毗為西寧州刺史，凡十一年，蠻夷酋長皆以金多者為豪雋，遞相攻奪，略無寧歲，毗患之。後因諸酋長相帥以金遺毗，毗置金坐側，對之慟哭，而謂之曰：“此物饑不可食，寒不可衣，汝等以此相滅，不可勝數，今將此來，欲殺我邪！”一無所納。於是蠻夷感悟，遂不相攻擊。上聞而善之，征為大理卿，處法平允。
毗見楊素專權，恐為國患，乃上封事曰：“臣聞臣無有作威作福，其害於而家，凶於而國。竊見左仆射越國公素，幸遇愈重，權勢日隆，搢紳之徒，屬其視聽。忤旨者嚴霜夏零，阿旨者甘雨冬澍；榮枯由其唇吻，廢興候其指麾；所私皆非忠讜，所進鹹是親戚，子弟布列，兼州連縣。天下無事，容息異圖；四海有虞，必為禍始。夫奸臣擅命，有漸而來，王莽資之於積年，桓玄基之於易世，而卒殄漢祀，終傾晉祚。陛下若以素為阿衡，臣恐其心未必伊尹也。伏願揆鑒古今，量為處置，俾洪基永固，率土幸甚！”書奏，上大怒，收毗係獄，親詰之。毗極言“素擅寵弄權，將領之處，殺戮無道。又太子、蜀王罪廢之日，百僚無不震竦，唯素揚眉奮肘，喜見容色，利國家有事以為身幸。”上無以屈，乃釋之。
其後上亦寖疏忌素，乃下敕曰：“仆射國之宰輔，不可躬親細務，但三五日一向省，評論大事。”外示優崇，實奪之權也。素由是終仁壽之末，不複通判省事。出楊約為伊州刺史。
素旣被疏，吏部尚書柳述益用事，攝兵部尚書，參掌機密；素由是惡之。
太子問於賀若弼曰：“楊素、韓擒虎、史萬歲皆稱良將，其優劣何如？”弼曰：“楊素猛將，非謀將；韓擒虎鬬將，非領將；史萬歲騎將，非大將。”太子曰：“然則大將誰也？”弼拜曰：“唯殿下所擇！”弼意自許也。
交州俚帥李佛子作亂，據越王故城，遣其兄子大權據龍編城，其別帥李普鼎據烏延城。楊素薦瓜州刺史長安劉方有將帥之略，詔以方為交州道行軍總管，統二十七營而進。方軍令嚴肅，有犯必斬；然仁愛士卒，有疾病者親臨撫養，士卒亦以此懷之。至都隆嶺，遇賊，擊破之。進軍臨佛子營，先諭以禍福。佛子懼，請降，送之長安。
文帝仁壽三年（癸亥，公元六〇三年）
秋，八月，壬申，賜幽州總管燕榮死。榮性嚴酷，鞭撻左右，動至千數。嚐見道次叢荊，以為堪作杖，命取之，輒以試人。人或自陳無罪，榮曰：“後有罪，當免汝。”旣而有犯，將杖之，人曰：“前日被杖，使君許以有罪宥之。”榮曰：“無罪尚爾，況有罪邪！”杖之自若。
觀州長史元弘嗣遷幽州長史，懼為榮所辱，固辭。上敕榮曰：“弘嗣杖十已上罪，皆須奏聞。”榮忿曰：“豎子何敢玩我！”於是遣弘嗣監納倉粟，揚得一糠一粃，皆罰之。每笞雖不滿十，然一日之中，或至三數。如是曆年，怨隙日構。榮遂收弘嗣付獄，禁絕其糧，弘嗣抽絮雜水咽之。其妻詣闕稱冤，上遣使按驗，奏榮暴虐，贓穢狼籍；征還，賜死。元弘嗣代榮為政，酷又甚之。
九月，壬戌，置常平官。
是歲，龍門王通詣闕獻太平十二策，上不能用，罷歸。通遂敎授於河、汾之間，弟子自遠至者甚眾，累征不起。楊素甚重之，勸之仕，通曰：“通有先人之弊廬足以蔽風雨，薄田足以具｛衍食｝粥，讀書談道足以自樂。願明公正身以治天下，時和歲豐，通也受賜多矣，不願仕也。”或譖通於素曰：“彼實慢公，公何敬焉？”素以問通，通曰：“使公可慢，則仆得矣；不可慢，則仆失矣：得失在仆，公何預焉！”素待之如初。
弟子賈瓊問息謗，通曰：“無辯。”問止怨，曰：“不爭。”通嚐稱：“無赦之國，其刑必平；重斂之國，其財必削。”又曰：“聞謗而怒者，讒之囮也；見譽而喜者，佞之媒也；絕囮去媒，讒佞遠矣。”大業末，卒於家，門人諡曰文中子。
突厥步迦可汗所部大亂，鐵勒仆骨等十餘部，皆叛步迦降於啟民。步迦眾潰，西奔吐穀渾；長孫晟送啟民置磧口，啟民於是盡有步迦之眾。