Родился в семье кубинского генерала, уроженец Гаваны. В 1956 году эмигрировал в США. Впоследствии учился в Университете Майами во Флориде, где, во время изучения английского языка, успешно прошёл пробы на участие в студенческой постановке. Благодаря этому, а также по рекомендации декана драматического отделения, Милиан решил стать актёром:
Я видел афиши со своим именем, — вспоминает Милиан, — и сказал себе: какого чёрта я здесь делаю? Я теряю время.
.
В дальнейшем он оставил обучение и переехал в Нью-Йорк, где пытался поступить в актёрскую студию, однако из-за отсутствия опыта ему это не удалось. Тогда Милиан нашёл работу лифтёра в пресвитерианском госпитале, где также долго не задержался — поступил на службу в военно-морские силы, но из-за серьёзного заболевания почек прослужил лишь шесть месяцев в тренировочном лагере. Не оставляя надежды стать актёром и купив специально для вступительных экзаменов книгу Станиславского, он всё-таки поступил в актёрскую студию Нью-Йорка.
