Родился в Нью-Йорке в семье риелтора Альфреда Сторча и его супруги Салли, работавшей оператором телефонной связи. Учился в средней школе ДеВитта Клинтона в Бронксе вместе с Доном Адамсом, дружба с которым продолжалась вплоть до ухода последнего из жизни в 2005 году.
Из-за разразившегося в США финансового кризиса Ларри так и не окончил школьное образование. Он стал выступать в барах и клубах с комедийными номерами, зарабатывая по 12 долларов в неделю.
Он служил в военно-морском флоте Соединённых Штатов во время Второй мировой войны на подводной лодке класса USS Proteus, где его сослуживцем был Тони Кёртис.
