Арчибальд Алек Лич родился 18 января 1904 года по адресу 15 Hughenden Road в Хорфилде — северном пригороде английского Бристоля. Был вторым ребёнком в семье Элиаса Джеймса Лича (1873—1935) и Элси Марии Лич (урождённой Кингдон, 1877—1973). Отец работал портным на швейной фабрике, а мать, происходившая из семьи плотников, была швеёй. Старший брат Джон Уильям Элиас Лич (1899—1900) умер в результате туберкулёзного менингита. Грант отчасти считал себя евреем. У него было тяжёлое детство: отец был алкоголиком, а мать страдала от клинической депрессии.
Мать научила его петь и танцевать в четыре года, и ей очень хотелось, чтобы он брал уроки игры на фортепиано. Время от времени она брала своего сына в кино, где он восхищался выступлениями Чарли Чаплина, Честера Конклина, Форда Стерлинга, Мака Суэйна, Роско Арбакла, Брончо Билли Андерсона. По исполнении четырёх с половиной лет был отправлен в Bishop Road Primary School.
Биограф Гранта Грэм Маккэн утверждал, что его мать «не могла проявлять любовь или принимать её». Биограф Джеффри Уонселл отмечает, что Элси сильно винила себя в смерти старшего сына и никогда не могла себе этого простить. Грант признавал, что сложные отношения с матерью оказали непосредственное влияние на его последующие контакты с женщинами. Она косо смотрела на алкоголь и табак и уменьшала сумму карманных денег за малейшую провинность. Грант объяснял её поведение по отношению к нему чрезмерной опекой, опасаясь, что потеряет его, как и Джона.
Когда Гранту исполнилось девять, Джеймс Лич поместил жену в Glenside Hospital, психиатрическое учреждение, сначала объяснив сыну, что она уехала в «долгий отпуск», а затем по совету двоюродных братьев, что умерла от сердечного приступа. Грант рос, обижаясь на свою мать, особенно после того, как она ушла из семьи. После этого события они переехали в дом бабушки в Бристоле. Год спустя отец вновь женился и завёл новую семью. Незадолго до своей смерти в 1935 году, когда сыну был 31 год, он признался Гранту во лжи и заявил, что Элси Мария Лич жива и находится в психиатрическом учреждении. Актёр, вскоре после того, как узнал, где находится женщина, в июне 1935 года принял меры, чтобы вытащить её из больницы. Он посетил мать в Англии в октябре 1938 года после окончания съёмок «Ганга Дина».