Анатолий Эфрос родился в Харькове в семье инженера Исаака Вельковича (Вольфовича) Эфроса и Лидии Соломоновны Эфрос. В годы Великой Отечественной войны работал слесарем на авиационном заводе, с которым его семья была эвакуирована из Харькова в Молотов.
С детства увлечённый театром, Эфрос в 1943 году поступил в актёрскую студию Ю. А. Завадского при Театре им. Моссовета, находившемся в то время в эвакуации в Алма-Ате; в 1944 году он поступил на режиссёрский факультет ГИТИСа, в мастерскую Николая Петрова, но параллельно посещал занятия мастерской Алексея Попова и Марии Кнебель — лучших педагогов факультета. «То, чего ему недоставало у своего педагога, — писал однокурсник Лев Щеглов, — он получал на занятиях соседнего курса. […] Это дало в будущем замечательные плоды. […] Не пройди он эту школу, может, и не было бы того Эфроса, которого мы знаем».
Окончив ГИТИС в 1950 году, Эфрос первую свою самостоятельную постановку осуществил в 1951 году — «Прага остаётся моей» в Центральном доме культуры железнодорожников. На профессиональной сцене дебютировал в том же году спектаклем «Приезжайте в Звонковое» по пьесе А. Корнейчука в Московском областном драматическом театре им. Островского.