公元221年，在刘备这里，称为章武元年，因为这一年，刘备称帝。随后，便以为关羽报仇的名义，发兵讨伐东吴，公元222年，刘备在夷陵之战中。被东吴的陆逊击败，退守永安。急招诸葛亮，李严，刘禅到永安宫面见。
刘备这是要托孤了。当时，托孤现场，应该还有老将军赵云，因为在刘备伐吴之时，赵云最初是在都督江洲（重庆）的，后来刘病夷陵战败退守永安（现重庆奉节县）时，赵云马上进军永安守护刘备。
那么说，刘备为什么要托孤这给三个人呢，主要是刘备真的是没有可以再托付的人了。
在刘备最初在河北创业时就跟着刘备的简雍（史书未记录去世时间，但估计死于刘备登基之前），麋竺（死于公元219年）、孙乾（死于公元215年），这几个文臣已经早就去世了。武将里，关羽（死于公元220年）、张飞（死于公元221年）也是这几年去世了。到了荆州后，收下的一批人，象黄忠（死于公元220年）、刘巴（死于公元222年）也都去世了。就连夺了四川，汉中后，新收的很多文臣武将也都去世了，包括马超（死于公元222年），还有刘备后期比较倚重的谋士法正（死于公元220年）。
早在刘备当汉中王时，大家劝进时，《汉中王劝进表》里，能排得上有名头的人，也都死的差不多了，包括马超，许靖（死于公元222年），庞羲（史书未记录去世时间，但刘备进位汉王中后，无事迹）、射援（史书未记录去世时间，但刘备进位汉王中后，无事迹）、诸葛亮、关羽、张飞、黄忠、赖恭、法正、李严。
我们可以看到，刘备从进位汉中王到夷陵战败的这五年间，刘备手下的文臣武将，死亡率达到60%以是。剩下的都是资历不够的或者是到了蜀地后新收的。资历不够的，还得继续熬资历，在蜀地新收降的人，又不敢轻易委以大任，所以，到了此时，能托孤的，也就是这么几个人了。
于是，诸葛亮作为有更老一点资历的人，就成了托孤第一人，甚至刘备都说，如果刘禅不才，你可自取。李严呢，做为蜀地投降过来的人，也凭着个人能力以及一直以来的威望，和诸葛亮一起，成为托孤大臣。
可能是李严觉得自己位居诸葛亮之下，他有点不服。所以后边便开始处处和诸葛亮不对付。也开启了他的作死之路。
就在托孤后不久，李严直接给诸葛亮写了一封信。他表示的一脸忠心的和诸葛亮说，你啊，应该加受九锡，进爵称王。
此言一出，把诸葛亮着急气够呛。这是什么话？受九锡，进爵称王是曹操干过的啊，你的意思是我就是曹操或曹丕呗。你这不是在指着我的鼻子骂我是奸臣吗。
但此时诸葛亮，为了大局，忍了，他只是对李严说，咱们现在还有更重要的事情要做呢，等那一天我们打到魏国，让皇帝（刘禅）还都洛阳，我们一块升官，不要说九锡了，十锡也行啊。
到了公元226(建兴四年)，诸葛亮在汉中，准备发兵伐魏。但是考虑到大军出征，后方还是要有一个人给负责后勤啊。刘备在世时，诸葛亮就是在后方负责后勤，现在诸葛亮率兵伐魏，希望李严来汉中镇守，做后勤保障。但是李严不去，他不仅推脱不去，还要求要一块独立的地方州。诸葛亮没有答应。
李严的同乡尚书令陈震看不惯李严的做法，和诸葛亮说，李严心术不正，你可得防备着他点啊。诸葛亮安慰陈震，认为还是可以和李严一块合作的。毕竟两人都是托孤大臣，你能随便把人干掉吗？
到了公元230(建兴八年)，曹魏大司马曹真准备三路进逼汉中，这次汉中是真需要一个强人来守了，于是遂强令李严率二万人赶赴汉中阻击敌军。李严这次没敢拒绝，但是他趁机开始提条件。
李严私下散步消息，说司马懿已经给他准备了更大的官职在那边等着他了，但是他还是想着忠心为蜀，不愿意过去。可惜蜀国却还是这样对他。诸葛亮知道了他的意思，于是向刘禅建议，给李严升为骠骑将军，又表其子李丰接替督主江州防务，李严这才愿意北上汉中。
李严到了汉中，但是却依然想着怎么样再整诸葛亮一下。
第二年，公元231年，诸葛亮出兵北伐，这是我们熟知的诸葛亮六出祁山的第四次。诸葛亮本来这次是很有希望收获更大的业绩的。一直压着司马懿打，司马懿始终不敢和蜀军正面交锋。但是李严在北后开始使坏，他一方面以天气原因，粮草供应不上，传话给诸葛亮，让他撤军。另一方面在成都散步谣言说诸葛亮早晚要称帝。最终，即无粮草，又加上成都方面刘禅的命令，诸葛亮只得退兵。就这样，退兵的路上，还设伏射杀了魏国的名将张郃。
等到诸葛亮退兵回到汉中的时侯，李严这时又出来了，他一脸无辜的问诸葛亮，军粮很充足啊，你怎么就退兵了？
然后他还摆出一副为诸葛亮着想的态度，向刘禅上表，给诸葛亮开脱。
诸葛亮一脸无奈的看着李严，心中估计把李严的全家问侯了几十遍，你这家伙，真会演戏啊。
幸好，诸葛亮也不是善类。他把李严给他的书信，其中就包括他说军粮难以运送，要求退兵的内容向蜀汉群臣展示。然后联合其他大臣一同弹劾李严。面对着铁证，李严终于理屈辞穷，只得叩头认罪。
李严随后被废为民，流放到梓潼郡。
虽然这样，但是对李严还是比较宽容的，李严的儿子李丰，没有受到此事的影响。先是代父职，后来还进一步升职。
被流放后的李严，开始自省，他常常期望诸葛亮会再次起用他。
可惜的是，诸葛亮这时所剩时间也已经不多了，三年后，诸葛亮就在最后一次北伐时，病逝在五丈原。
当诸葛亮去世的消息传到李严这里，他知道，自己再也没有机会出山了。其实，想想也知道，他顶着一个托孤大臣的名头。之前还和诸葛亮不对付。即使用他，也就诸葛亮才能镇得住，诸葛亮一死，谁还能镇得住他，所以说，谁还敢用他。
李严悲愤的对身边人说，除了诸葛亮，没有其他大臣会想起他，会再次起用他了。李严大哭一场，随后就生了一场大病而病逝。
