Родился в Москве в семье французского инженера-мостостроителя Франца де Мильё, уроженца Марселя, приехавшего в Россию на работу. Отец скончался в 1906 году в Ялте, когда сыну не исполнилось и трёх лет. Мать — дочь иркутского золотопромышленника Елизавета Алексеевна Журавлёва. Детство мальчика проходило в достатке, он воспитывался гувернантками-француженками, изучал языки, музыку, много читал.
Ещё до начала Первой мировой войны вдова де Мильё переехала из Москвы в Геленджик, опасаясь нарастающих в стране волнений. После Революции 1917 года семья осталась без родных и без денег, дом в Геленджике был конфискован, а большая московская квартира была превращена в коммунальную, где семье де Мильё отвели лишь одну комнату. Впоследствии он сменил фамилию, чтобы не афишировать своё аристократическое происхождение. Знание иностранных языков он всю жизнь не указывал в анкетах, хотя свободно владел французским и немецким.
Он с детства увлекался искусством, слушал Шаляпина, Нежданову, Собинова. Любовь к театру ему привила его тётка, театральная актриса. Уже в семь лет будущий актёр впервые попробовал нанести грим, попытавшись перевоплотиться в Мефистофеля из «Фауста», однако был разочарован, когда вызвал у родственников смех, а не испуг.