詹姆斯四岁时父母被逃出动物园的犀牛吃了，詹姆斯被“海绵团”“大头钉”收留。“海绵团”“大头钉”是詹姆斯两个非常丑陋的姨妈，是两个坏透的女人：自私、懒惰、残暴。对詹姆斯无缘无故地动手打骂，叫他“讨厌鬼”“倒霉蛋”，还派苦活给他干。
就这样，詹姆斯在姨妈家生活了三年，奇怪的事发生了。园子里一个老头儿给他了一些有法力的绿色小东西，可他偏偏摔了一跤，绿色小东西都钻到土里去了，使长年不结果的桃树竟然结一个房子大小的桃子。被姨妈关在门外的夜晚，詹姆斯顺着通道钻进桃子，推开小门，巨型的蚱蜢、蜘蛛、萤火虫……把詹姆斯惊呆了。
蜈蚣咬断桃把，大桃滚下山，压扁了两个姨妈，詹姆斯与大仙桃的一次奇异的旅行开始啦！他们随着大仙桃滚落大海、靠蜘蛛小姐的丝拴上五百零一只海鸥飞行，经历了鲨鱼和冰雹的袭击，最后来到了纽约，旅行结束了，整个仙桃也被人们吃个精光，至于那个巨大的桃核，成了一块纪念碑，同时也是一座赫赫有名的房子，房子里面就住着本书的主人翁詹姆斯。
