Настоящее имя Грея было Гершель Израилевич Голдберг (он же Гриша Голберг, он же Гога, он же Гершель, он же Гарри Грей). Родился в Одессе (Российская Империя) 2 ноября 1901 года в семье Израиля и Селии Голдберг, эмигрировавших в США в 1905 году. В седьмом классе бросил учёбу. Приходился братом Хайману Голдбергу, публиковавшему колонку и критические статьи для New York Post, автору нескольких книг, включая «Наш человек на кухне», сборника рецептов из своей колонки под названием «Благоразумие Пенни».
В 1912 отец Голдберга серьезно заболел и был помещён в больницу для операции. Во время его пребывания в госпитале, жена Селия начала готовить еду для мужчин в окрестностях, которые экономили деньги, чьи семьи также переехали из Европы в Америку. Когда отец Голдберга вернулся из больницы, он увидел, что дела у Селии пошли удачно, и они открыли ресторан. Все дети, включая Гарри и Хаймана, помогали отцу в бизнесе.
В 1932 Гарри женился на Милдред Бекер. Окончил колледж. Имел трёх детей, — Беверли, Харви и Симеона. В результате аварии был госпитализирован и, уже будучи в пятидесятилетнем возрасте, решил описать свою жизнь в 20-х и 30-х годах, а также гангстерские группы, контролировавшие Нью-Йорк. Чтобы защитить себя и свою семью, изменил фамилию и вместо Голдберг стал зваться Грей.
Писатель скончался 1 октября 1980 года, через несколько месяцев после начала съёмок фильма «Однажды в Америке» ("Once Upon a Time in America"). Фильм режиссёра Серджио Леоне вышел в прокат в 1984 году и стал последним в его карьере.