Чарльз Джоффе родился в Бруклине в Нью-Йорке 16 июля 1929 года в семье аптекаря. Учился в Сиракьюсском университете на журналиста. Уже во время учёбы у него начали проявляться антрепренёрские способности — он организовывал выступления танцевальных групп в местных ночных клубах.
Начал работать в агентстве MCA, где познакомился с Джеком Роллинзом. В 1953 году они основали своё агентство с офисом на Манхеттене. В 1958 году клиентом их агентства стал Вуди Аллен, тогда писавший для шоу Сида Цезаря (Sid Cesar Show). Двумя годами позже, когда Аллена уволили из шоу Гари Мура, Роллинз и Джоффе посоветовали ему самому выступать со своими представлениями. В 1965 году они добились контракта с United Artists на $35 000 для Вуди Аллена на съёмки фильма «Что нового, киска?». Однако в работе с кинокомпаниями Вуди Аллена не устраивало, что тексты его сценариев изменяли, ему навязывали актёров, которые ему не нравились, поэтому начиная с 1969 года фильмы Аллена снимала кинокомпания Джофф и Роллинза Jack Rollins and Charles H. Joffe Productions, которая предоставляла ему бо́льшую свободу для самовыражения.
В 1978 году Чарльз Джоффе получил «Оскар» за фильм Вуди Аллена «Энни Холл» как продюсер лучшего фильма, а также принял приз лучшему сценаристу за Вуди Аллена, который был на тот момент в Нью-Йорке.
Роллинз и Джоффе работали вместе до конца восьмидесятых, когда решили разделиться: Роллинз сотрудничал в Нью-Йорке с Дэвидом Леттерманом, а Джоффе в Лос-Анджелесе с Вуди Алленом. Последним (42 по счёту) фильмом Вуди Аллена, снятым при участии Чарльза Джоффе стала картина «Вики Кристина Барселона» 2008 года.
Умер 9 июля 2008 года в Лос-Анджелесе от рака лёгких.