孟子辞去齐国大臣的职务准备回家了。齐王知道后马上来到孟子的住处，说：“以前想见先生却见不到，后来能和先生一起共事，寡人很高兴。现如今先生又要抛弃寡人要离开了，不知道以后还能不能见到先生。”
孟子说：“大王，这不应该是我的请求，这本来是我的愿望。”
过了一段时间，齐王对大臣时子说：“我想在城中给孟子修建一所房子，用很一万钟粮食来供养他和他的弟子，使我们齐国的官吏和百姓都有学习的榜样，你为什么不替寡人向孟子谈一下呢？”
时子又转托陈子把这件事告诉了孟子。把这些话都像孟子说了一遍。
孟子听完后，说：“我知道了。时子怎么会知道这件事的重要性呢。如果我贪图财富，辞去十万钟粮食待遇的齐国官位而接受一万钟粮食，是为了贪图财富吗？季孙说：‘子叔这个人很奇怪，让他执政，不用别人也就算了，又让他学生做卿大夫。谁不想富贵？但是他这个人却想把富贵都集中在他一个人身上。’以前人做生意，都是用自己有的交换自己没有的。还有相关部门专门管理这件事情。这时候就有一个偷奸耍滑的人，想要把所有的利益都集中在自己的身上。他左顾右盼，想把所有的好处都获取过来。人人都觉得这个人贪得无厌，所以就不断增加他的税收。从此以后向商人征收税收的方式就确定下来了。”
孟子离开齐国后，住在齐国西南的宿邑。有一个想替齐王挽留孟子的人，恭敬地坐在孟子对面讲话，孟子却不加理会，竟然准备躺下睡觉了。
那个人很不高兴，说：“我昨天恭敬斋戒，今天才敢和先生讲话，先生不仅不听，还如此态度。请恕在下从今以后不敢登门。”
孟子坐起来，说：“请先生安坐。让我来告诉你为什么。以前鲁缪公对待子思：如果子思身边没人侍奉，他就会觉得不安心；而泄柳、申详这些人如果不在鲁缪公身边，他们也不会安心。请你为我这个老人想想。连子思和鲁缪公那样的心思都没有考虑到，是你不给我面子，还是我不给你面子？”
孟子离开齐国不久，学生充虞在路上就问孟子：“先生看起来心情很不好，以前我听您说过：‘君子既不抱怨，也不苛责别人。’”
孟子说：“那时候是那时候，现在是现在。每过五百年就有一位圣贤出现。这些人中一定有辅佐大才。从周武王到现在已经七百多年了，五百年早就超过了。从当前形式上看，现在就是出现圣明君主和贤能臣子的时候。也许是上天不想让天下太平吧。如果想让天下太平，当今这个时代，除了我，谁还有这个能耐？我又为什么不高兴呢？”
孟子离开齐国以后，齐国有个叫尹士的说：“你没有发现齐王不是成汤和周武王那样的国君，还要来齐国，孟子就不能算聪明人。明知道齐王不会重用他的思想还要来，孟子是一个贪图富贵的人。不远千里来到齐国，主张没有被采纳就说要离开，又在昼邑停留了三天，为什么这么慢？我对他这种做法非常不高兴。”
他的的弟子高子把这件事告诉了孟子。
孟子说：“那个尹士怎么会了解我呢？不远千里来到齐国，是来实现我的愿望。没有被采纳而离开，这也是我的愿望吗？我也是不得已啊。在昼邑停留了三天，我还觉得时间很短，因为我想等期望改变主意。如果期望改变主意，一定会召回我的。我离开昼邑，齐王也没有派人追赶，所以我才决定回家。就算是这样，我也没有放弃齐王，齐王是可以施行仁政的。如果齐王重用我，不仅齐国百姓会过上太平日子，就连天下百姓都会过上太平日子。我也在天天等待齐王改变主意。我是一个心胸狭窄的人吗？向齐王劝谏，主张不被采纳，我就十分恼怒，满脸不高兴，一说离开，就非得让自己走到筋疲力尽才肯休息吗？”
尹士后来听到这些话后，自责地说：“我真是一个小人啊。”
孟子离开齐国后，停留在休邑，学生公孙丑不解的问：“做官却不要俸禄，符合古代的标准吗？”
孟子说；“不是这样的。在崇邑我见到了齐王，回来以后就想要离开齐国了。我不想改变我的主张，所以我不接受俸禄。要不然以后齐国有战事，就不能离开了。长久的留在齐国，不是我的心愿。”
