Родился в еврейской семье под именем Макс Херман. Родители Хермана: мама — Ида (дев. Горенштейн) и Абрам Дардик, родом с Украины. Учился в Нью-Йоркском университете вместе с Перси Грейнджером. Также обучался в Джульярдской школе, где в возрасте 20 лет собрал свой первый камерный оркестр.
В 1934 году зачислен в штат дирижёром Си-би-эс. В 1943 году стал главным дирижёром симфонического оркестра «Коламбия». Под управлением Херрмана прозвучали произведения многих композиторов. Херрман стал первооткрывателем музыки малоизвестного на тот момент Чарльза Айвза. Также под управлением Херрмана состоялась премьера 22-ой симфонии Н. Я. Мясковского.
В 1930-е и 1940-е годы сотрудничал с Орсоном Уэллсом (известный радиоспектакль по «Войне миров», «Гражданин Кейн»). Создал музыкальное сопровождение для всех фильмов Альфреда Хичкока, снятых с 1955 по 1964 год. Его шедевром считается саундтрек к хичкоковскому «Психо». На фильме «Разорванный занавес» произошёл конфликт композитора и режиссёра. Хичкок под влиянием продюсеров компании «Universal» заказал Херрману песню к фильму в духе модной тогда бондианы. Отказавшись сочинять песню, композитор написал мрачную музыку, что неудовлетворило режиссёра и продюсеров.
После размолвки с Хичкоком работал с Франсуа Трюффо («451 градус по Фаренгейту», «Невеста была в чёрном») и Брайаном де Пальмой («Сёстры», «Наваждение»). Для фильма «451 градус по Фаренгейту» композитора режиссёру порекомендовал сам автор литературной первоосновы Рэй Бредбери, зная, что Трюффо написал подробную книгу о жизни и творчестве Хичкока. Позже, когда Херрман спросил режиссёра, почему он выбрал именно его, а не кого-либо из классических композиторов — Пьера Булеза и Штокхаузена, Трюффо ответил: «Они пишут музыку двадцатого века, а Вы пишете музыку двадцать первого века!».
С 1967 года работал в основном в Лондоне. Тогда же, в ноябре, 56-летний композитор вступил в брак с 27-летней журналисткой Нормой Шеперд, с которой он прожил до конца своей жизни. В 1971 году семья переехала в Лондон на постоянное место жительства.
23 декабря 1975 года Херрман записал саундтрек к фильму Мартина Скорсезе «Таксист». После окончания записи он встретился с Ларри Коэном для обсуждения новой совместной работы — картины «Бог велел мне», однако этому не суждено было состояться — в ночь на 24 декабря композитор скончался во сне от сердечного приступа в своей комнате в гостинице Лос-Анджелеса. Скорсезе и Коэн посвятили свои фильмы Херрману.