Ландау родился в Бруклине, Нью-Йорк, в еврейской семье. Его родителями были Сельма Бахман и машинист Моррис Ландау. Он окончил старшую школу Джеймса Мэдисона и институт Пратта. На протяжении пяти лет Ландау работал карикатуристом в газете Daily News и изначально планировал стать иллюстратором, однако в конечном итоге решил заняться актёрством.
В 1951 году Ландау дебютировал с ролью в постановке «Детективная история» театральной компании Мэна «Peaks Island Playhouse», вскоре после чего сыграл свою первую на офф-бродвейской сцене в пьесе «Первая любовь». В 1955 году он был принят в Актёрскую студию, где учился в одном классе со Стивом Маккуином, а также познакомился с Джеймсом Дином, ставшим его лучшим другом.