到了南北朝时期，随着东晋的灭亡、刘宋政权的兴起，曾经风光无限的东晋门阀士族，包括王谢庾桓这些贵姓也不复存在。
有诗为证：旧时王谢堂前燕，飞入寻常百姓家。——刘禹锡《乌衣巷》
注：刘宋政权，是指东晋大将刘裕代东晋恭帝司马德文为帝后建立的政权，是南北朝时期南朝的第一个朝代，也是南朝版图最大的朝代，当时所谓“七分天下，而有其四”，与统一北方后的北魏形成南北对峙格局。
刘裕在位时期，吸取前朝士族豪强挟主专横的教训，采取抑制豪强兼并、重用寒士、废侨寄制度等措施，来巩固皇位，这在一定程度上打击了门阀士族势力，使其受挫。
注：侨寄制度，来源于侨寄法。晋永嘉之乱后，”衣冠南渡“，北方大族为避战乱，纷纷南迁。依大臣王导的建议，东晋朝廷在南方士族势力较弱的地方设侨州、侨郡、侨县，安置北方迁入的士族和民众。侨人不列入当地的户籍册，只归侨州侨郡侨县管辖，不负担赋税和徭役，此法称之为侨寄法。
