隋文帝曾当面对大理少卿赵绰解释了他不给他升官的秘密，他郑重其事地说：
“你执法严格，办事勤劳，当是我朝的一大忠臣了。我不升你的官职，并不是我对你有何意见，这只能怪你的相貌不佳，决非富贵之相啊！”
赵绰心虽怨怪，嘴上却连连称是。
隋文帝有此一说，是有其原因的。赵绰的大理寺少卿，是一个负责司法的官职，他刚正无私，总以法律为依据来审评案件，曾多次和隋文帝发生冲突。
一次，刑部侍郎辛直穿着大红裤子上朝，隋文帝颇为震怒。喝问之下，辛直说他这样只想让自己官运亨通，这个方法也是别人告诉他的。隋文帝不信，只以为辛直是用妖术诅咒自己，便判他死罪，让赵绰来执刑。
赵绰不顾朝中众大臣都在场旁观，他当面拒绝了隋文帝的命令，还振振有词地说：
“我执掌司法，自该秉公办事。辛亶所犯之罪，按律不该处死，还请皇上收回成命。”
隋文帝勃然大怒，厉声道：
“你抗旨不遵，这可是死罪！你不识大体，竟敢托词欺君，还想活命吗?”
他又传命将赵绰斩首。赵绰凛然不惧，大声说：
“为了维护法律，我何惜一死?只求皇上放了辛直，不辱皇上的英明。”
他当场解开衣服，等待受刑。
隋文帝并不昏庸，他怒气稍缓，便又语气有缓地说：
“你这般倔强，虽是难得，可是要吃大亏的。”
赵绰回答说：
“臣以忠为本，问心无愧，自不会计较个人得失。”
隋文帝思之再三，也觉杀之无由，于理不合，便只把他囚禁了几日，还让他担任原职。
此事过后，赵绰的家人仍是十分后怕，他们对赵绰说：
“你依法办事，皇上却不以为忠，你何必非要坚持呢?得罪了皇上，命都不保，忠又有什么用?你要有所转变，万不可一味死硬。”
赵绰笑着打断家人的话，说：
“皇上不是赦免了我吗?谁又说忠无用呢?任何时候，我都在维护皇权，巩固国本，这是我应尽的职责，岂可改变?”
不久，他果然又和隋文帝争执起来。有两个人以假币兑换真币被抓，隋文帝命令将其斩首，赵绰却说：
“依法他们当被杖刑，何来死罪呢?这太重了。”
隋文帝摆摆手说：
“这事不用你管了，还不行吗?”
赵绰不依不饶地说：
“皇上让我执法，这事自该我管，除非皇上下旨免去臣的官职。”
有了赵绰的坚持，那两个人虽没被处死，隋文帝对赵绰的厌恶却更增加了。终其一生，他也没被提升官职。
