皮特·霍尔特是履带式拖拉机（Caterpillar）发明者本杰明·霍尔特的曾孙。霍尔特家族在圣安东尼奥的历史起源于1933年，当时皮特的祖伯父比尔·霍尔特搬到了圣城，成为履带式拖拉机经销商。由于没有子嗣，比尔把皮特的父亲B.D.霍尔特请到圣安东尼奥来和他共同打理生意。1961年，B.D.霍尔特搬到德克萨斯州科珀斯克里斯蒂，开始经营自己的履带式拖拉机经销业务。
皮特·霍尔特出生于伊利诺州皮奥里亚，幼年住在圣安东尼奥，随后搬到科珀斯克里斯蒂读高中。作为富家子弟，皮特·霍尔特也曾一度堕落，沉迷于酒精。1966年，皮特·霍尔特在喝醉的情况下和警察飙车，遭到逮捕。在法庭上，法官建议已走上歧途的他考虑去服兵役。皮特·霍尔特随即进入美国陆军服役两年，并于1967年奔赴越南战场。在服役期间，皮特·霍尔特军衔至中士，共获得一枚银星勋章、三枚铜星勋章和一枚紫心勋章。
