1882年1月末，梵高和酗酒的妓女西恩相识并在一起，西恩比梵高年长三岁，当时已经怀孕，还带着她五岁大的女儿。后来西恩产下了一个孩子，起名威廉，威廉一度以为梵高是他的生父。梵高的父亲知道了这个事，非常生气，认为丢人，要求他们分手，1883年末，他们终于分手了，西恩又成为了妓女，在梵高死14年后，西恩投水自尽。梵高的《悲伤》，画于1882年，可以看到，在画中西恩还挺着大肚子。
《悲伤》，1882 ，黑色粉笔素描 44.5x27cm
在这之前一年，1881年8月，梵高爱上了他新寡的表姐科妮莉亚，表姐比他大七岁，还有一个八岁的儿子，梵高向她求婚，被拒绝。科妮莉亚也马上离开，从此再没有见面。梵高仍然未对表姐科妮莉亚死心，而科妮莉亚的父母则说梵高的坚持“令人恶心”。在绝望中，梵高在手上写下“我能在火上忍多久，就让我和她在一起多长时间”，然后将手放在灯火上烤。最后他的叔叔把火熄灭，将他救了下来。但科妮莉亚的父亲说：考虑到梵高连支撑自己的收入都没有，他俩根本就没有一丝可能。梵高后来据此绘制了《埃滕花园的记忆》。
《埃滕花园的记忆》，1888，圣彼得堡埃尔米塔日博物馆
在这之后一年，1884年，有一个邻居的女儿玛戈特·贝格曼，爱上了梵高，她比梵高大十岁，他们准备结婚，但是双方父母都反对，也没结成。玛戈特企图以灭鼠药自杀，但被梵高紧急送到医院。
再过一年，1885年，梵高被人指控，让农家的一个模特怀了孕。神父于是禁止村民为梵高做模特儿。
梵高一生未结婚，也没有后代。
