Родился в Нью-Йорке в семье знаменитого скрипача Ефрема Цимбалиста (родом из Ростова-на-Дону) и оперной певицы Альмы Глюк (урождённой Ребы Файнзон, родом из Ясс). В 1940 году он окончил Йельский университет, а спустя несколько лет состоялся его актёрский дебют в театре.
С 1941 по 1945 год служил в американской армии, воевал в Европе (в частности, в Бельгии и в Арденнах) в составе 9-й пехотной дивизии.
В 1946 году впервые появился на телевидении, где в дальнейшем и приобрёл наибольшую популярность. У него были роли в телесериалах «Мэверик», «77 Сансет-Стрип», «Гавайский глаз», «ФБР», «Интуиция», «Ремингтон-Стил», «Отель», «Она написала убийство», «Зорро», «Вавилон-5» и многих других. На большом экране Цимбалист появлялся намного реже и в основном на второстепенных ролях. Среди кинофильмов с его участием такие картины как «Банда ангелов» (1957), «Хэрлоу» (1965), «Дождись темноты» (1967), «Аэропорт 1975» (1974) и «Горячие головы!» (1991). К тому же Цимбалист известен как актёр озвучивания — его голосом говорил Альфред Пенниуорт в мультсериалах «Бэтмен» и «Лига справедливости», король Артур в «Легенде о принце Валианте», Джастин Хаммер в «Железном человеке» и Доктор Осьминог в «Человеке-пауке».
Был дважды женат, и обе его супруги скончались от рака. Его дочь от первого брака Стефани Цимбалист, как и отец, стала актрисой.
Его родители были ассимилированными нерелигиозными евреями. Они крестили своих детей в епископальной церкви и воспитывали их в этой вере. Ефрем-младший рассказывал, что его водили в церковь каждое воскресенье и посещал епископальную школу-интернат в Нью-Гемпшире. Посещал он церковь каждое воскресенье и со своей первой женой. В конце 1970-х он увлёкся харизматическим христианством, но впоследствии вернулся к епископальной церкви.
95-летний Цимбалист скончался 2 мая 2014 года на своём ранчо в городе Солванг, штат Калифорния. Похоронен на кладбище Таун Хилл, Нью-Хартфорд, Коннектикут.
