虞世南字伯施，越州余姚人。他入唐时，年岁已老了。他祖父虞检，是梁始兴王咨议；父虞荔，是陈太子中庶子，都有重名。他自幼过继叔父虞寄为子，故字伯施。他是一个身体很弱，沉静、寡欲的人。他和他的哥哥虞世基自小从著名博学的顾野王为师，都极有名，而他的文章学徐陵，更为徐陵本人承认相类。但他的行为和世基相反，是一个峭正安贫的人。他对本生父和嗣父及世基都极孝友。在陈隋两代，他都做过官，但由于刚直，都不得意。及他遇到唐太宗才得到知己的重用。太宗在做秦王时，引他为府参军，转记室，迁太子中舍人。太宗登位，拜他为员外散骑侍郎、弘文馆学士。这时，他已很衰老，屡次请辞不许。后来改为秘书监，封永兴县子，贞观八年，进封县公。十二年致仕。他死时年八十一，并受到陪葬昭陵、赠礼部尚书、谥文懿的荣宠。

他的性情抗烈，议论持正。太宗问“天变”，他对：“愿陛下勿以功高而自矜，勿以太平久而自骄。”他又一再谏止陵墓的厚葬。他又不肯奉旨和宫体诗。他又屡谏太宗好猎。太宗称他五绝：“一曰德行，二曰忠直，三曰博学，四曰文词，五曰书翰。”可见书法对于他只是一种娱乐的游戏而已。在他死后，太宗说他是“当代名臣，人伦准的”，可为确论。