Герберт Дэвид Росс родился в 1927 году, в Бруклине, Нью-Йорк, в семье Луиса Честера и Марты Росс (Грюндфаст). Его родители были русско-еврейские иммигрантами. Когда Россу было девять лет, его мать умерла, а отец перевёз семью в Майами и открыл закусочную. Был женат на балерине Норе Кей (с 1959 года до её смерти в 1987 году) и светской львице Ли Радзивилл (с 1988 по 1999 год).
Похоронен на Pierce Brothers Westwood Village Memorial Park Cemetery в Уэствуд-Вилледж, Лос-Анджелес.