Родился в Москве в семье Павла Васильевича и Анны Ильиничны Леоновых, выходцев из Клинского уезда. Был вторым ребёнком, старший брат — Николай Леонов (1924—2017).
Брат работал инженером-авиаконструктором в Туполевском бюро, отец — на авиазаводе, мать была домохозяйкой. Жили в коммунальной квартире на Васильевской улице, занимая две небольшие комнаты.
В 1934—1941 годах учился в Московской средней школе № 126 Советского района. Ещё в четвёртом классе его заметил режиссёр, который подыскивал «самого смешного, пухлого мальчишку» для съёмок в фильме. Леонов был приглашён на студию, но в последний момент «то ли родители не пустили, то ли испугался, застеснялся» и в картине участия не принял. В пятом классе записался в школьный драмкружок.
К началу войны (в возрасте 14 лет) окончил седьмой класс. По совету родителей устроился учеником токаря на авиазавод, на котором работал его отец. Во время войны там работала вся семья Леоновых.
Осенью 1943 года поступил в Авиационный приборостроительный техникум имени С. Орджоникидзе, участвовал в художественной самодеятельности.
На третьем курсе ушёл из техникума и поступил на драматическое отделение Московской экспериментальной театральной студии при Московской областной филармонии, которой руководил Р. В. Захаров, балетмейстер Большого театра.