孔子于是去到了卫国，寄住在子路的妻子的兄长颜浊邹家。卫灵公问孔子:"你在鲁国得到的是俸禄多少?"孔子回答说:"粮食六万（按照古代的计算方法，一斗大约称重15斤粮食，六万斗就是九万斤，一斤粟大约能打出七两的小米，也就是说孔子的年薪一年最少也有六万多斤粮食。）。"卫国人也致送粮食六万。过了不多久，有人向卫灵公说孔子的坏话。卫灵公派大夫公孙余假用兵仗监视孔子的出入。孔子害怕在这么获罪，居住了十个月，就离开了卫国。

孔子打算前往陈国，经过匡城（匡城是卫国的领土，当年鲁国阳货叛乱从鲁国逃出，路过匡地的时候是杀人放火，抢劫钱财。因此匡人对阳货是非常的痛恨。），弟子颜刻替他赶车的，用他手中的鞭子指给孔子看，说:"昔日我进入这座城，就是从那个缺口进去的。"匡人听说来了人，误以为是鲁国的阳虎来了。阳虎曾经残害过匡人，匡人于是就围困孔子，孔子的模样长得像阳虎，在匡拘留了五天。颜渊落后来赶到，(见到后)孔子说:"我还以为你死了。"颜渊说:"老师你活着，弟子当然要侍奉您左右，我怎么敢死!"匡人围攻孔子，情况愈来愈紧急，弟子们都感到恐惧。孔子说:"周文王死后，周朝的礼乐制度不就在我们这里吗?上天打算毁灭这周朝礼乐，我这个后来人便不应该承担维护它的责任了。上天不想毁灭周朝的礼乐啊，匡人能把我怎么样!"孔子派随从子弟到卫国国都做宁武子的家臣，然后才得以离开匡地。

孔子离开匡地之后经过一个叫蒲的地方。一个多月后，又返回卫国，寄居在蘧伯玉家。卫灵公有个叫南子的夫人，灵公派人对孔子说:"各国的君子，凡是看得起我们国君，愿意与我们国君结为兄弟的，必定会来见见我们南子夫人的。我的夫人希望见到你。"孔子开始还推辞谢绝一番，最后不得已才拜见南子。夫人在细葛帷帐之中。

孔子进门，面朝北行叩头行礼， 南子夫人在帷帐中行拜了两次，身上佩戴的环佩玉器发出了叮铛撞击的清脆声。孔子说:"我本来就不想见，既然见了便还她以礼。"子路不高兴。孔子起誓说:"我如果口不应心，老天会惩罚我的!老天会惩罚我的!"在卫国居住一个多月，卫灵公和夫人南子同乘一辆车，宦官雍渠为陪侍车右，出宫游览，让孔子乘第二辆车跟从，大摇大摆地从市上走过。孔子说:"我没看见过喜好德行如同爱好女色的人啊。"于是厌恶卫灵公，离开卫国，经过曹国。这一年，鲁定公去世。