十二年，又表请致仕，优制许之，仍授银青光禄大夫、弘文馆学士，禄赐、防阁并同京官职事。寻卒，年八十一。太宗举哀于别次，哭之甚恸。赐东园秘器，陪葬昭陵，赠礼部尚书，谥曰文懿。手敕魏王泰曰：“虞世南于我，犹一体也。拾遗补阙，无日暂忘，实当代名臣，人伦准的。吾有小失，必犯颜而谏之。今其云亡，石渠、东观之中，无复人矣，痛惜岂可言耶！”未几，太宗为诗一篇，追述往古兴亡之道，既而叹曰：“钟子期死，伯牙不复鼓琴。朕之此诗，将何以示？”令起居郎褚遂良诣其灵帐读讫焚之，冀世南神识感悟。后数岁，太宗夜梦见之，有若平生。翌日，下制曰：“礼部尚书、永兴文懿公虞世南，德行淳备，文为辞宗，夙夜尽心，志在忠益。奄从物化，倏移岁序，昨因夜梦，忽睹其人，兼进谠言，有如平生之日。追怀遗美，良增悲叹。宜资冥助，申朕思旧之情，可于其家为设五百僧斋，并为造天尊像一区。”又敕图其形于凌烟阁。有集三十卷，令褚亮为之序。