12、
过了很久，贝州长史裴肃遣使上书，称：“高颎以天赋良才，佐命元勋，为众人所嫉恨，以至废弃；愿陛下录其大功，忘其小过。又，二庶人（杨勇、杨秀）得罪已久，岂会没有洗心革面之心！愿陛下弘君父之慈，顾天性之义，各封他们一个小国，再观其所为：如果能改好，再渐渐提高他们的待遇；如果还是不知悔改，再贬削也不晚。如今断绝了他们的自新之路，他们就是有愧悔之心，陛下也看不见，岂不哀哉！”奏书递上来，皇上对杨素说：“裴肃忧心我家事，这也算是至诚吧。”于是征召裴肃入朝。太子杨广听闻，对左庶子张衡说：“假如杨勇改过自新，想要做什么呢？”张衡曰：“看裴肃的意思，想要让他像吴太伯、汉东海王（二人都是长子、太子，主动让国给兄弟）罢了。”裴肃到京，皇上当面晓谕以杨勇不可救药之意，遣送他回去。裴肃，是裴侠之子。
杨素的弟弟杨约及叔父杨文思、杨文纪、族父杨忌并为尚书、列卿，诸子无汗马之劳，位至柱国、刺史；广营资产，自京师及各地大城市处，旅馆、商店、磨坊、便利田宅，不可胜数；家僮数千，后庭妓妾身穿绮罗者数以千计；宅第华丽奢侈，规格比拟宫禁；亲朋故吏都位居显要。既废一太子及一王，威权更盛。朝臣有违忤者，甚至被诛杀灭族；有攀附他们的或他家亲戚，虽无才用，必加擢升，朝廷官员像强风下的衰草一样，无不匍匐畏附。敢与杨素平起平坐而不屈膝的，唯有柳彧及尚书右丞李纲、大理卿梁毗（pi）而已。
当初，梁毗为西宁州刺史，前后十一年，蛮夷酋长都认为谁的金子多，谁就是老大，所以递相攻夺，没有一年消停的。梁毗深以为患。后来，诸酋长争相赠送金子给梁毗，梁毗把金子放在坐侧，对着恸哭，对他们说：“此物饥不可食，寒不可衣，汝等以此相灭，不可胜数，现在这么多金子在我这里，是要杀我了吗！”一概不收。于是蛮夷感悟，不再互相攻击。皇上闻而称善，征召他入京任大理卿，执法公正。
梁毗见杨素专权，恐为国患，于是上呈亲启密奏，说：“臣听闻，为人臣者，不能作威作福，那会害了家，也会毁了国。我观察左仆射、越国公杨素，受皇上宠幸恩遇越重，权势日隆，上下官员，都竖起耳朵听他口风，睁大眼睛看他脸色。冒犯他的，夏天也会凋零；阿谀他的，寒冬也能降下甘雨；他一句话，就能让人荣华富贵，或身败名裂；手指头一动，就能让人飞黄腾达，或万劫不复；他所喜爱的，都不是忠贞之士；他所擢升的，全是自家亲戚，布满全国州县的刺史、太守、县令，都是他家子弟。如果天下无事，还能不做出叛逆的事；如果四海动荡，他家就一定是祸源。奸臣擅命，都是逐渐积累而来，王莽凭借的是王家长期当权的成果，桓玄也是从他的父辈桓温开始，而一个终结了汉朝，一个倾覆了晋祚。陛下如果以杨素为宰相，臣恐怕他的心未必能像伊尹。希望陛下以古今历史为镜鉴，酌情处置，让洪基永固，率土幸甚！”奏书递上去，皇上大怒，将梁毗逮捕下狱，亲自诘问。梁毗极言：“杨素擅宠弄权，将领之处，杀戮无道。又太子、蜀王罪废之日，百官无不震竦，唯独杨素扬眉奋肘，喜见容色，把国家有事作为自身的幸运。”皇上无法反驳，于是将他释放。
其后皇上也逐渐疏远猜忌杨素，于是下敕说：“仆射是国之宰辅，不可躬亲细务，只需三五日上朝一次，评论大事。”表面上是示以优崇，实际上是夺了他的实权。从此直到杨坚去世，杨素都不再过问尚书省的事。又外放杨约为伊州刺史。
杨素既被疏远，吏部尚书柳述权势就更大，摄理兵部尚书，参掌机密；杨素由此憎恨他。
太子问贺若弼说：“杨素、韩擒虎、史万岁都称是良将，其优劣如何？”贺若弼说：“杨素是猛将，不是谋将；韩擒虎是斗将，不是领将；史万岁是骑将，不是大将。”太子说：“那么大将是谁呢？”贺若弼下拜说：“全靠殿下选择！”贺若弼的意思，他自己才算得上是大将罢了。
华杉曰：
梁毗弹劾杨素，说：“臣无有作威作福，其害于家，其凶于国。”是《尚书洪范》里的话。臣不可作威作福，谁可以呢？还有一句话：：“惟辟作福，惟辟作威。” 原意是只有君王才能独揽威权，擅行赏罚。
作威作福，有八个抓手，就是“刑德八柄”，是《周礼》中君王驾驭群臣的八项大权：
一是“爵”，可以封爵，让人尊贵；二是“禄”，丰厚的俸禄，可以让人富有；三是“予”，给予额外的赏赐，可以让人欢喜；四是“置”，可以任用他，让他有作为；五是“生”，可以让他人生安全，安享幸福；六是“夺”，剥夺他的财产，让他贫穷；七是“废”，废黜他的官爵，让他不敢犯罪；八是“诛”，可以诛杀，让他不敢叛逆。
这八个“刀把子”，实际上杨素都操在自己手上了。所以杨坚再怎么信任他，这局面也不能允许，必须削夺他的权势。
杨坚之后，杨广不得不用他。他又为杨广立下大功。但是，功劳越大，权势越大，杨广对他的猜忌也就越大。他最终勉强蹊跷地“善终”，但他的子孙就善终不了了。
13、
交州俚帅李佛子作乱，占据越王故城，派他哥哥的儿子李大权占据龙编城，别帅李普鼎占据乌延城。杨素举荐瓜州刺史、长安人刘方有将帅之略，皇帝下诏，以刘方为交州道行军总管，统二十七营而进。刘方军令严肃，有犯必斩；又能仁爱士卒，有疾病者必亲临问候，士卒也以此感怀他。到了都隆岭，与贼军遭遇，击破之。进军兵临李佛子营，先晓谕以祸福。李佛子惧，请降，把他解送长安。
