С 1899 года (с 10—11-летнего возраста) пел в кафе, а также в мюзик-холлах. С 1909 по 1913 год был партнёром артистки эстрады Мистенгет. В 1912—1918 годах играл в театре оперетты, затем выступал на эстраде как шансонье. Получил широкую известность в конце 1920-х годов. Выступал в Великобритании, затем в США, участвовал в бродвейских шоу. Непременным атрибутом сценического образа Шевалье была шляпа-канотье.
С 1911 года Шевалье начал работать в кино. В 1929 году дебютировал в голливудском музыкальном фильме «4=Innocents of Paris». Также снимался в таких картинах, как «Парад любви» (1929), «Улыбающийся лейтенант» (1931), «Весёлая вдова» (1934), «Молчание — золото» (1947), «Любовь после полудня» (1957), «Канкан» (1960), «Фанни» (1961), «В поисках потерпевших кораблекрушение» (1962) и других.
Во время оккупации Франции в 1940—1944 годах выступал в Париже и для французских военнопленных в Германии.
В 1937—1946 годах был женат на танцовщице Ните Рае.
