杜牧的祖父杜佑，担任宰相时住在樊川别墅。樊川是长安的一个地名，川间涌河清澈，曲折蜿蜒，阡陌纵横，杜牧自幼就生活在这里。他晚年还重新收拾了祖父的樊川别墅，并自谓“樊川翁”，将自己的诗文收录命名为《樊川文集》。这里有林亭之美，卉木幽邃，给童年的杜牧留下很多欢畅的记忆。然而，他少年时代的苦涩也是从这里开始的。
杜佑去世时，把家里的房子分给三个儿子。分到杜从郁手中的只有三十多间。三十多间房子，要供家庭主要成员和奴仆住，在长安并不算多，况且杜从郁也不是一个能够好好经营家产的人。他英年早逝，将生前所欠的债务都留给了杜牧。杜牧可以说是一夜成人，十四五岁的年纪就要开始料理家计，对付债主，无奈之下，他把家中三十多间房子变卖了。从此，杜牧一家流离失所，虽说族中有人会接济他们，但是艰难的生活困境依旧难以被改变。
杜牧和自己的弟弟可以说是相依为命。弟弟有眼疾，需要钱财治病。杜牧当时带着多病的弟弟流落于长安城内，骑着驴去这一家讨一点儿，去那一家要一点儿。而且他们没有房子住，要在长安城内的家庙里住。这座家庙已经非常老旧了，里面都是灰尘。他们也没有东西吃，杜牧需要“拾藜藿”，把各种野菜煮成粥给弟弟喝。
