父亲1923年5月出生在山西平鲁县（现平鲁区）白辛庄。周边几个村都是以杜姓人为主，有两个哥哥一个姐姐和一个弟弟，在当时的父系家族中，女孩是不排在家族中，因此，父亲排行老三，家里人称他叫杜三。长大一点，取名为杜安明，但人们甚少叫其名，一般称杜三。父亲三岁时，又有了一个弟弟，排行为老四，家里人自然顺延着称其为杜四，后来取名为杜浩明。
白辛庄四周环山，村子前面为一条自西向东的深沟，夏天沟中时断时续地流着水，每当下雨后，轰鸣的洪水自西而来，向东而去汇入桑干河，南边的山坡东西两侧较高，中间较低，好像沿高峰中线折叠形成，如一个倒立的V型，雨水将山坡正中冲出了一条水沟，与村前的沟壑汇集在一起，将山坡分为两部分。村子建在北边山坡的平缓处，以南山的水沟为分界线，东侧为东村，西侧为西村，全村大约有百十来户人家。
村子的田地集中在村子南边的山坡上和沟壑里被洪水冲积形成的小块平整的土地，爷爷家的田地主要在南坡的东侧，由于水土流失严重，越靠近山顶处，土地越贫瘠。为了防止流水的冲刷，在坡地中用石头垒出许多的地堰，根据山坡的走势形成了大小不同层次分明的梯田，曲曲折折地将整个南坡梳理的鳞次栉比。在地堰上、山沟内和山顶处，生长有许多低矮的野杏村、酸刺之类的乔木。春天白云绕山走，秋天彩珠挂枝头，风光尽显险崖陡峭处。
平鲁县处在黄土高原的东麓，自然条件比较恶劣，沟壑纵横，水土流失，民生艰辛。随着四爹的出生，家中添丁加口，日子更加艰难。中原大战后，时局艰难，捐税日益增多，卖儿卖女者有之。“河曲保德州，十年九不收，男人走口外，女人挖野菜”，天灾和人祸让许多山西老乡只得背井离乡外出谋生，爷爷带着大爹和大妈于1931年春天离开了自己家乡，来到热河省陶林县元山子村（内蒙古察右中旗土城子乡元山子村）。留下了奶奶和父亲他们艰难维持着生活，那时父亲才八岁。
爷爷他们去了内蒙后，二爹帮着奶奶种植着南坡的几亩薄地，父亲每天跟随奶奶他们在地堰边，山坡上放着家中那赖以生计的老黑牛，偶尔也帮助奶奶干点农活。
爷爷和大爹他们去内蒙时，家里的积蓄和粮食大都做了他们远去的盘缠，虽然父亲的二姑（爷爷的二妹）经常接济，但她家也不富裕，离爷爷家又很远，奶奶家的日子还是过得吃了上顿没有下顿，早晨清汤透亮，中午野菜充粮，晚上开水成汤。在这将近一年的日子里，奶奶的小脚不知踏过了多少人家的门槛，以举借糊口之粮，陪尽了笑脸，真是：“强将笑语供主人，悲见生涯百忧集，痴儿未知母子礼，叫怒索饭啼东门。”
爷爷家在白辛庄村的东村，爷爷的三爹（三叔）住在西村，爷爷的三爹是全村日子过的最好的一家，他家有三个儿子，其中二儿子和父亲同岁，父亲叫他二叔，他叫杜海堂，虽然人有点傻，但对父亲很好，是父亲的玩伴和好朋友，在那段困难的日子里，他总是愉愉地帮助父亲。相比父亲的二叔，父亲的三爷爷对父亲他们就差了许多。
北方农村养猪所用的饲料一般都是土豆和花子混合而成，而花子就是农作物秸秆和种子外壳经过碾打后形成的细碎纤维。
有一天早晨，父亲去西村找他二叔，看到三爷爷家的猪食盆中放着还没有与花子捣碎搅拌的熟土豆，父亲还是个孩子，忍不住拿了一块土豆吃起来，当时被他三爷爷看到了，三爷爷很不高兴地把父亲训了一顿，意思就是在别人家不要随便拿人家的东西，吃别人的东西要经过同意，至于教养什么的，三爷爷也是说了许多，多少也让父亲受到点刺激，后来父亲还多次提到这件事。解放后，父亲三爷爷的三个儿子都跑到了内蒙，父亲还是多方照顾，父亲是心中有阳光的人，他看到的全部是阳光。
自尊从来就是富人的奢侈品，生存才是人性的本能。
奶奶在家里守护着她的孩子们，这个家庭就像暴风中的一颗小树，随时都有被吹折的危险。好在爷爷在内蒙站住了脚，冬天时候，爷爷捎话说他们所在的地方，土地辽阔，地势平坦，地广人少，非常适合种田，让奶奶带着全家快快过来，于是奶奶带着二爹，父亲和四爹一家人，离开了生她养她的故乡， 从此奶奶再也没有回过山西，离别成为永别。
