杨振宁成长于一个非常稳定而有着丰富情感的家庭环境，这对于他的人生观，以及他做人的态度，都产生了积极正面的深远影响，对于他后来面对不同的文化和环境挑战，都具有强大的稳定作用。
杨振宁受父母影响都很大，明显的影响如学术知识是来自父亲，精神气质则来自母亲。杨振宁对于父母亲的感念是恒久深重的。
杨振宁和杜致礼结婚以后，和正常的婚姻一样，快乐的日子之外也难免有一些不适应的问题。杜致礼是一个很有个性的人，如果她有什么想法，你很难去改变她的。在事业方面，杜致礼并没有很大的雄心，她安于做家庭主妇和母亲的角色。另外，杜致礼也是一个有话直说的人。对于杨振宁工作上难免的出外开会旅行，杜致礼颇有些抱怨。除了对杨振宁表达感情过于简略有些不满之外，杜致礼还说杨振宁从不准时，说什么时候回来，从来都是要让人等了又等的。这和杨振宁学生说他非常准时的看法不同。对于杨振宁没有很多时间帮忙家里的事，杜致礼难免有许多看法。有个性的杜致礼很多时候也会显现她的脾气，有时甚至当众让杨振宁下不了台。
对于岳父母，杨振宁执礼甚恭，非常亲近。1958年，曹秀清由台湾到美国和杨振宁、杜致礼相聚，住在杨振宁家里，杨振宁对岳母就好像自己的母亲一样。1959年，杜聿明在经过10年的监禁以后恢复了自由，杨振宁1971年回到中国后首次见到岳父，彼此都留下了极好的印象。
对于孩子的教育和期望，他不像一般中国父母那么的殷切，是比较美国式的。在三个孩子当中，除了杨又礼在台北学过一段时间中文，他们基本上都不会说中国话，对中国文化的了解也很有限。对于自己的孩子不了解中国文化，杨振宁不能说没有遗憾。
杨振宁曾经说过，他的父母是中国人，他的子女是美国人，他和他的太太是介于两者之间。他也说，他自己这一代因为背后有强大的中国文化做后盾，并没有少数民族的感觉，真正的少数民族是他的孩子这一代。
许多人都认为，杨振宁不是一个感情外露的人，如果头一次和他见面，会因为他比较严肃的外表，而感觉到一种有距离的印象。事实上，他内里热情充沛，他天生的热情之所以会被他有些冷峻的表面掩盖，是他童年时和母亲在大家庭中的生活经验让他变得谨慎而早熟。杨振宁的学生和合作者，也多是个性内敛寡言深思的，这也间接反映出杨振宁为人和个性上的一种偏好。对于学生，杨振宁是中国式大家长的态度，非常尽心地照顾，对于合作者的提携，也是不遗余力。对于一般人的态度，杨振宁也是比较平等公正的，对于物理上的有些问题，他会很坦率地说“这个我不懂”。
杨振宁自己认为，他在为人处世方面采取了中国传统的中庸之道，也就是不采取不可一世或者十分骄人的态度。除了对自己的科学才分采取一种中庸的态度之外，他对于科学学术也没有高人一等的看法。他不会特别美化科学家的形象，也不会让人认为科学家是什么都懂的专家。因为他知识和兴趣广博，加上涵养丰厚，在学术界杨振宁是一个出名的演讲者。他的学术演讲自然反映了他学术工作的简洁清晰、风格优雅，他的通俗演讲，也以知识内涵深刻，典故旁征博引著称。有人认为，杨振宁是继胡适以来最注重演讲的大学者。对于写文章，他的态度十分慎重，他在60岁出版的《论文选集》扉页上写着杜甫的名句：文章千古事，得失寸心知。
许多人观察杨振宁的处事作为，认为他似乎有一种本能上的直觉，能够洞悉世事和人情背后的困局，而在恰当的时机表达出他对一切了然于心的敏感。他对于一些人和事观照的周全，也显现出他似乎有着一种天生的世故。
