爱因斯坦的朋友菲利普·弗兰克参观伦敦贵格会总部的时候，看到了并排挂着的三个人物像：甘地、阿尔贝特·施韦泽和爱因斯坦。他十分不解地问他们三个有什么共同点，而获得的回答是：“他们三个都是和平主义者啊！”
1932夏天，爱因斯坦还是选择了离开德国。这时的德国局势异常动荡，共和国民主体制名存实亡，特别是激进的革命分子阿道夫·希特勒任总理后，开始暴露了他独裁的野心。他们实施种族大清洗，所有的犹太教师都是被“清洗”的对象。令人感叹的时，当时对爱因斯坦及其理论的反对已经甚嚣尘上，爱因斯坦竟然被宣传成了反对执政党的核心人物。看来，爱因斯坦“连累”了整个科学界。
普鲁士科学院云集了许多世界顶级的物理学家，像马克斯·普朗克、瓦尔特·能斯特、埃尔温·薛定谔等，爱因斯坦很享受和他们的探讨。尽管如此，爱因斯坦在国内也是待不下去的。一方面，德国现在的政府不容许像爱因斯坦这样的犹太人的存在，军国主义运动已经愈演愈烈，朋友也劝他不要回国。另一方面，爱因斯坦是和平主义者，反战人士，他坚信本杰明·富兰克林所说的“没有好的战争，也没有坏的和平”。而这些都是军国主义所不容的。为了不使院长普朗克为难，他主动提出了辞职，不过后来的发展，让普鲁士科学院不得不与爱因斯坦划清界限，科学院还是发表声明开除了爱因斯坦。
爱因斯坦再次回到了美国，在普林斯顿高等研究院任职。爱因斯坦是有先见之明的，早在1922年，德国的外交部部长沃尔特·拉特瑙被右翼势力谋杀身亡，他就感到十分不安，根据他的直觉洞察力，他已经感觉到了有股潜藏于表象之下的势力正在发展壮大，他也预测到自己不会在德国再待十年以上。
在爱因斯坦来普林斯顿之前，他曾向美国广播了一条消息，他认为美国蕴藏着巨大新生力量，只有这股力量才能摧毁军国主义，而美国应该担负起这个责任，袖手旁观并不可取。
爱因斯坦在美国进行自己喜爱的物理事业的同时，仍然致力于和平，他建议美国总统罗斯福要抢在德国之前研制出原子弹。二战结束后，他又建议各国签署一份国际协议，形成监督机制，控制原子能的使用，以应对核武器带来的危机。
