Зиновий Гердт (в кругу друзей и близких, а также в театральном фольклоре известен под уменьшительным именем Зяма) родился 8 сентября (21 сентября) 1916а в уездном городе Себеже Витебской губернии (ныне — Псковская область, Россия) под именем Залман Афроимович Храпинович. Он был младшим (четвёртым) ребёнком в семье Афроима Яковлевича Храпиновича и его супруги Рахили Исааковны (в девичестве — Секун). Отец артиста до революции был приказчиком, затем коммивояжёром в коммерческих компаниях, после революции — работником местного райпотребсоюза.
Учился в еврейской школе в Себеже, в тринадцатилетнем возрасте опубликовал в детской газете на идише стихи о коллективизации. В 1932 году переехал к брату в Москву. В этом же году поступил в фабрично-заводское училище Московского электрозавода имени В. Куйбышева. В училище познакомился и подружился с Исаем Кузнецовым, в будущем — писателем и сценаристом, вместе с ним начал играть в театре рабочей молодёжи (ТРАМ) электриков, организованном В. Плучеком. В 1934 году, окончив ФЗУ, пришёл работать на Метрострой электромонтажником, продолжая играть в театре. В 1935 году был переведён в профессиональный состав театра. В 1936—1937 годах играл также в Театре кукол при Московском Дворце пионеров.
В 1939 году перешёл в организованную А. Арбузовым и В. Плучеком Московскую государственную театральную студию («Арбузовская студия»), где проработал до начала войны. Исполнил роль Альтмана в спектакле «Город на заре» А. Арбузова. Первоначально выступал под своей настоящей фамилией Храпинович, затем под артистическим псевдонимом Гердт (ставшим его официальной фамилией не ранее 1963 года; имя и отчество Зиновий Ефимович появились ещё позже). По воспоминаниям Исая Кузнецова, псевдоним был предложен А. Арбузовым по имени популярной в 1920-е годы балерины Елизаветы Павловны Гердт.
