陈朝灭亡后，虞世南与虞世基一起到京都长安，兄弟二人都名重一时，当时的人把他们比作西晋的陆机与其弟陆云。那时隋炀帝在做晋王，听到他们的名声，隋炀帝与秦王俊征召的文书一起送到，虞世南以母亲年老为借口，坚决推辞了，晋王命令使者去追他们。大业初年(605)，虞世南接连被授为秘书郎，升迁为起居舍人。那时虞世基在当朝非常显贵，妻子穿衣都模仿王者，虞世南虽然同他们住在一起，却清贫节俭，不改变自己的性情。等到隋朝灭亡，宇文化及反叛杀君，虞世基任内史侍郎，也将被杀，虞世南抱持着虞世基痛号悲泣，请求让自己替兄受死，宇文化及不接受他的请求，虞世南因此悲哀得瘦损异常，形销骨立，当时的人都称赞他的行为。虞世南随化及到聊城，又被窦建德抓获，伪授黄门侍郎。
李世民灭了窦建德后，虞世南被授为秦府参军，不久转任记室参军，授弘文馆学士，与房玄龄共同掌管诏告文翰。李世民曾令虞世南写《列女传》用来装屏风，当时没有底本，虞世南边背边刻居然没有错一个字。李世民被正式封为太子后，升任虞世南为太子中舍人。到李世民即位，虞世南转任著作郎，兼弘文馆学士。当时虞世南年已衰老，上表请求辞官，太宗下诏不许他辞官，升任他为太子右庶子，虞世南坚决推辞不受职，被授任为秘书少监。虞世南还上了《圣德论》，但现在失传了。公元633年，虞世南转任秘书监，赐爵永兴县子。唐太宗器重他的博学，常常在处理军政大事的间隙，召虞世南在一起谈经论史。虞世南虽然容貌柔弱，但志性却刚烈，每每谈到古时先代帝王为政的得失，必定诚心以正言相劝诫，对当时的政事多所补益。唐太宗曾对侍臣说：“朕借闲暇的时间与虞世南商讨古今政事，有一个字的差错，未尝不惆怅恼恨，他恳切诚挚到这种程度，朕用他用得好啊。群臣都像虞世南这样，天下还愁有什么不能治理。”
公元634年，陇右山崩，大蛇多次出现，山东及江淮多次遭大水。唐太宗以这事问虞世南，虞世南回答说：“春秋时梁山崩，晋侯召伯宗问这件事，伯宗回答说：‘国家主宰山川，所以山崩川竭，君王因此不奏乐，穿素服，乘坐没有花纹的车、撤去音乐、出宫住宿、太祝陈献币帛用来祭祀神灵。’晋侯听从了伯宗的话，所以没有受到危害。汉文帝元年，齐、楚一带二十九座山同一天崩裂，洪水大肆泛滥，汉文帝命令郡国不要来进贡，对天下广施恩惠，远近欢乐和谐，也没有成灾。后汉灵帝时，青蛇出现在御座上。晋惠帝时，大蛇长三百步，出现在齐地，经过市区进入朝廷。蛇应当在草野之中，但它进入市区朝廷，所以可以认为是怪异的。如今蛇在山泽出现，深山大泽自然有龙蛇，也不足为怪。再说山东多雨，虽然合乎常规，然而阴雨连绵过久，恐怕有冤狱，应当审断关押的囚犯，或许可以符合天意。况且妖邪不能制服道德，只有遵循道德可以削减突发的事故。”太宗认为他说得对，因此派使者救济饥民，审理官司辨断冤案，多有赦免宽恕。
后来有一颗彗星出现于虚、危宿之间，经过氏宿，一百多天才消失。太宗对群臣说：“天上出现彗星，是什么妖邪呢？”虞世南说：“过去齐景公时有彗星出现，景公问晏婴，晏婴回答说：‘凿池沼怕它不深，兴建台榭怕它不高，施用刑罚怕刑罚不重，因此天上出现彗星来警诫您。’景公害怕而遵循道德，过了十六天彗星消失了。我听说：‘天时不如地利，地利不如人和，如果不遵循道德义理，即使获得麟凤，终究是于事无补，但政事没有过失，即使有灾星，也于时无损。希望陛下不要因功高而自以为了不起，不要因太平久了而骄傲松懈，始终如一，即使出现彗星，也不足为它忧虑。’”太宗神情严肃地对他说：“我治理国家，确实没有齐景公那样的过失。但我才二十岁就发动义兵，二十四岁平定天下，不到三十岁就居于帝位，自认为夏、商、周以来，治理乱世的君主，没有人达到这样的。再拿薛举的骁勇，宋金刚的凶猛，窦建德横跨河北，王世充占据洛阳来说，在那个时候，够得上是劲敌，都被我擒获。到遭逢家难，又决定安定社稷，于是登上帝位，降服北方的异族，我颇有些自傲的意向，以此轻视天下之士，这是我的罪过。上天出现变故，确实是为这吗？秦始皇平定六国，隋炀帝富达四海，骄奢淫逸，一个早上就灭亡了，我又怎么能够自骄呢？想到这里，不觉由此警惕震惊。”四月，康国献来狮子，太宗诏令虞世南为之做赋，在东观编撰，这篇赋文也失传了。
唐太宗后来颇好狩猎，虞世南上疏规劝说：“我听说秋天打猎，冬天打猎，这是通常的制度；射鹰放禽，都有从前的告诫。我想，陛下用处理政事的余暇，依自然的规律去杀伐，准备亲自抛弃朝中用的障扇，亲自驾驭虎皮装饰的车，捣尽猛兽的窟穴，取尽山林水泽间的良材。削平凶残剪除暴虐，以此保卫百姓，收集皮革拢取羽毛，用来充当武器，举旗颁赐出猎所得，遵照前古的仪式。然而黄屋之尊，金舆之贵，是八方所敬慕的德行，万国关联的中心，先使道路清净再出行，还要提防倾覆之祸，这样看重谨慎、防微杜渐，是为了社稷。因此马卿直言规劝在前，张昭争论变色在后，臣确实低微卑贱，怎敢忘这个道理？况且所射死的鸟兽已经很多了，颁赐所获的猎物，皇恩也广大啊。愿陛下按时停止出猎，姑且掩藏长戟，不拒绝草野小民的请求，俯纳细小的水流，赤身徒手搏斗的人，任他们在自己身边，就会成为遗留后世君王的典范，永光万代。”唐太宗听了觉得很有道理，因此更加亲近、礼待虞世南。
贞观十二年(638)，虞世南又上表请求辞官归居，太宗格外开恩应许他，仍授银青光禄大夫、弘文馆学士，禄赐、防门合并同京官职事。不久虞世南去世，时年八十一岁。太宗在别室为他举哀，哭得非常悲恸。赐给棺木，让他陪葬在昭陵，赠礼部尚书，赐谥号文懿。下手令给魏王泰说：“虞世南对于我，像是一个人，他纠正帝王的过失，没有一天有片刻的忘记，确实是当代名臣，人伦的准则，我有小的过失，虞世南必定犯颜直谏。现在他已亡故，石渠、东观之中，再也没有这样的人了。悲痛、惋惜怎么可以说啊！”不久，太宗为他做诗一篇，追述往古兴亡之道，接着感叹说：“钟子期死，伯牙不再鼓琴。朕的这篇诗，将拿给谁看呢？”于是命令起居郎褚遂良拿诗到虞世南的灵帐边读完后焚烧，希望虞世南的神灵知道感悟。
几年后，唐太宗夜里梦见虞世南，像平时活着一样。第二天，太宗下令说：“礼部尚书、永兴文懿公虞虞世南，德行淳朴完备，文章是辞赋的宗师，早晚尽心，志在忠益。忽然去世，转眼过了几年。昨因夜梦，忽见其人，并且进谏直言，有如平生之日。追怀他留下的美德，很增悲叹，应当供给冥钱，申明朕的思旧之情，可在他家设五百僧斋，并为他造天尊像一座。”又命令在凌烟阁上画虞世南的肖像。
凌烟阁是唐贞观十七年3月23日，唐太宗为怀念当初一同打天下的诸多功臣，命阎立本在凌烟阁内描绘了二十四位功臣的画像，是为《二十四功臣图》，比例皆真人大小，画像均面北而立，太宗时常前往怀旧。阁中分为三层：最内一层所画为功勋最高的宰辅之臣；中间一层所画为功高王侯之臣；最外一层所画则为其他功臣。所以虞虞世南的肖像能够挂在凌烟阁上是一件非常荣耀的事情。
虞世南的书法现在还流传于世的有《孔子庙堂碑》、《汝南公主墓志》、《昭仁寺碑》、《破邪论序》等宋黄庭坚有诗赞曰：“虞书庙堂贞观刻，千两黄金那购得。”他的书法理论著作有《笔髓论》、《书旨述》。编有《北堂书钞》一百六十卷、《群书理要》五十卷、《兔园集》十卷等，另有诗文集十卷行于世，今存《虞秘监集》四卷。其中的《北堂书钞》是我国第一部完整的类书，它摘录了唐初能见到的各种古书。这些古书现在大多失传了，但《北堂书钞》为保存我国古代文化典籍作出了重在贡献。欲知后事如何？且听下回分解。