Гаврон родился в Хэндоне в Северном Лондоне в еврейской семье у американской писательницы Марты Пичи и скончавшегося издателя Саймона Гаврона. У самого Рафи есть американское гражданство. Его дед и бабушка по отцовской линии — Роберт Гаврон и Ханна Файвел — миллионеры-филантропы, родившиеся в Тель-Авиве. Его прадед Тоско Р. Файвел был писателем и работал с Джорджем Оруэллом. У Рафи есть два младших брата — Бенджамин (1992 года рождения) и Мозес (1996 года).
Дебютом актёра стала роль Миро в драме «Вторжение», в которой его герой использовал приёмы паркура, чтобы попасть в офис главного героя. Гаврон сам исполнил несколько трюков. За роль актёр получил номинации на премию «British Independent Film Awards» в категории «Многообещающий молодой актёр».
Затем Гаврон сыграл наёмника Дуро в сериале «Рим» канала HBO и появился в роли музыканта-гея Дэва в комедии «Будь моим парнем на пять минут». В январе 2009 года в мировой прокат вышла сказка «Чернильное сердце» по одноимённой книге, в которой Гаврон сыграл Фарида — персонажа «Тысячи и одной ночи», которого оживило волшебство.
В 2009 году появился в нескольких эпизодах культового теле-триллера «24 часа» в роли Хамида Аль-Зариана — младшего брата террориста. В мае 2009 года получил главную мужскую роль в мелодраме «Последняя песня», однако в фильме снялся Лиам Хемсворт. В 2010 году снимался в роли Бага в первом сезоне драмы «Жизнь непредсказуема» канала CW.
