或许你认为“巴菲特”这个姓氏，会使得巴菲特的三个子女享有无穷无尽的特权，那就错了。虽然巴菲特是亿万富豪，但是彼特以及他的哥哥姐姐所能继承和永不贬值的遗产，是他们父母的人生理念：听从自己内心的召唤，走你自己的路。
彼特的童年非常快乐。从4岁开始，彼特便由母亲带着去参加各种不同的教会，“我们曾经去过南部的浸信教堂。那里有一位极具煽动性的牧师，通过诠释教义使集会的人群达到巅峰状态。我们还去过犹太人的教堂，那里的稀奇语言和古老的仪式虽然少见，但是同样令人敬畏。在我们家，宽容是最重要的价值观之一。”每到周末，他总是独自去看望外祖父母，“在我步行的路上，邻居会向我招手或按喇叭打招呼。”在他母亲那里，彼特印象最深的就是：“她告诉我，每个人都有个值得一听的故事。”也就是说，“每个人都有我们值得学习的地方。”
对于年幼时的经历，彼特觉得非常幸运：“其实，大多数的人生恩赐都与金钱无关。这些恩赐包括父母的关爱、亲密的邻里关系以及温暖人心的友谊。而当初父母灌注给我们的价值观，才是最稳定的货币。”而怎样合理地花钱，也是彼特从父亲身上学到的。在彼特的整个童年中，“都没有觉得家中如何富有。”有一次进电影院，他想吃爆米花。但被巴菲特拒绝了，“如果这次我买给你，下次就要买给所有人。”
彼特19岁时继承了一份家族的遗产，“这份礼物来自我的祖父，我父亲出售了农场，然后把它转化成伯克希尔的股份，价值9万美元。”酷爱音乐并决定以音乐创作为今后事业的彼特用这9万美元购买了一套录音室设备。巴菲特不仅举双手赞成，而且还发挥他的特长，帮助彼特做了一个如何节约成本的预算。
