杨振宁是安徽太湖县都司杨家驹落籍合肥以后的第四代长孙。
杨家驹因官卑俸薄，家境清贫，生养的五子二女中，只有长子杨邦盛和幺子杨邦甸读书，其余都经商维生。杨家的大排行是“家、邦、克、振”。杨振宁的父亲杨克纯是杨邦盛的长子，自幼发奋读书，考取北京高等师范预科，毕业后受聘回到母亲安徽省立第二中学任教。杨振宁的母亲罗孟华还没出生便许配给了他的父亲。1922年的农历八月十一日（公历10月1日）杨振宁出生，当时他的父亲正在省会安庆某中学当数学老师，安庆旧名怀宁，杨振宁的“宁”就是这样来的。
杨振宁的父亲在安庆做了大约两年老师，就考取了官费留美学生，先在斯坦福大学读书一年，得到数学学士学位，第二年进入芝加哥大学，到1928年得到数学博士学位。杨振宁的母亲是旧式妇女，没有受过新式教育，也没有受过多少旧式教育，但是意志坚强，对杨振宁终生的影响很大。
杨振宁4岁开始认识方块字，一年多时间认识了3000个方块字，从5岁开始，跟着大家庭中的堂兄弟姐妹一起读书。他的父亲和母亲的感情一直很好，他们生养了四子一女，终生相互扶持。
1928年，杨振宁的父亲受聘到厦门大学数学系任教，他和母亲跟随一起到厦门。厦门的生活，在杨振宁的记忆中是很幸福的。他常和父母到海边去散步，和一般的孩子一样，他也喜欢捡拾海边的贝壳，他挑的贝壳常常很精致而且多半是极小的，显现出不同于常人的观察力。
杨振宁在厦门进了比较现代化的小学，那是厦门大学教职员子弟集中念书的小学。他的父亲是中国学习代数获得博士学位的第一人，对于中国近代数学教育有很大的贡献，对中国近代的大数学家华罗庚有提携之功。他对于自己的儿子，也是悉心教诲。
1929年，杨振宁的父亲应聘到清华大学数学系任教，杨家也举家北迁到北平，住在清华园西院十九号。此后一直到1937年，杨振宁和父母一起在清华园度过了相当平静的童年和青少年岁月。
清华建校的校园，在北京西北郊繁盛的园林区，原是清朝初年康熙皇帝的行宫“熙春园”，英法联军入侵北京火烧圆明园后遭到破坏。清华大学在清光绪二十六年（1900年）在这片荒废的皇家园林上建立起来，它有着得天独厚的园林胜境，蜿蜒流过的万泉河和其间的湖泊小溪，更将其塑成“水木清华”。现在校园里荷花池畔有着朱自清塑像的“荷塘月色”，校园里闻一多和王国维的纪念碑，都述说着20世纪20年代和30年代清华大学梁启超、陈寅恪、赵元任等一代大师荟萃鼎盛时期的绝代风华。
对于这八年的清华园生活，杨振宁在回忆中说是非常美丽，非常幸福的。
杨振宁小时候的头特别大，外号叫作杨大头。杨大头是清华园里一群玩伴的孩子头，他总是有许多奇怪的想法，领着大家玩新花样。其中一个就是从清华大学气象台所在的坡顶上骑脚踏车冲下来，从一座没有栏杆且只用两片木板搭成的小桥上疾驶而过。这种特技式的冒险，让这些孩子觉得十分刺激，玩了又玩。
杨振宁在清华园的成志学校念书时期，已经显现出对于知识的浓厚兴趣，在学习课业方面也有不凡的才分。他喜欢看书，而且兴趣广泛，他还喜欢把看书得知的事情讲给别人听。在他10岁左右，他的父亲已经看出他在数学方面的能力很强，但对于他的天分发展，父亲采取一种顺其自然的态度，并没有特别给他数学方面的训练。
1933年，杨振宁进入了当时的北平崇德中学（现在是北京三十一中），这个学校的校友有梁思成、邓稼先等，其中和杨振宁交谊深厚的就是被誉为“两弹元勋”的邓稼先。外号叫作杨大头的杨振宁和外号叫作老憨的邓稼先感情很好，两人常在一块。杨振宁比邓稼先大两岁，邓稼先个子比较小，有时候会受到别人欺负，杨振宁好打抱不平，劝告别人不要欺负邓稼先。
这个时期的杨振宁也确实开始对于科学有了一定的兴趣，他会买一些烧杯和试管之类的化学仪器，在礼拜六回家之后，把一些化学的溶液倒来倒去，让它们一会儿变蓝、一会儿变红地表演给弟弟和几个好朋友看。
他的父亲当年发现他有数学方面的天分，不但没有极力把他向那个方向上推，反而找人来教他念《孟子》，扩展他历史古籍方面的知识，使他对中国文化有了更深刻的认识。这些正面影响，都使得他的人格发展平稳均衡，也使得他后来在国外面对不同的文化和环境挑战时，能够适应调整得很好。
