Эмили Клодетт Шошуан (Émilie Claudette Chauchoin) родилась 13 сентября 1903 года во Франции, во французском городке Сен-Манде, регион Иль-де-Франс. Отец её — банкир Жорж Клода (1867–1925), мать была кондитер, Жанна Лоу Шошуан (1877–1970). Хотя её окрестили «Эмили», ее называли «Лили» в честь джерсийской актрисы Лилли Лэнгтри и потому что в семье жила незамужняя тетя с таким же именем, приемный ребенок её бабушки по материнской линии, Эмили Лоу (1878–1954). Жанна, Эмили Лоу и бабушка Кольбер, Мария Августин Лоу (1842–1930), родились на Нормандских островах между Англией и Францией, поэтому уже свободно говорили по-английски еще до приезда в США, а в семейном кругу говорили и на французском, и на английском.
Брат Кольбер, Шарль Огюст Шошуан (1898–1971), родился в Бейливике. Жанна занималась разными профессиями. Хотя Жорж Шошуан потерял зрение на правый глаз и не нашел профессии, он работал инвестиционным банкиром, терпя неудачи в бизнесе. Мари Лоу уже была в США, а шурин Джорджа (фамилия Ведель) уже жил в Нью-Йорке. Мари была готова помочь Джорджу финансово, но также поощряла его попытать счастья в США.
Чтобы найти больше возможностей для трудоустройства, Кольбе и её семья, включая Мари и Эмили Лоу, эмигрировали на Манхэттен в 1906 году.
Они жили в жилом доме на пятом этаже на 53-й улице. Кольбер заявила, что подъём по этой лестнице на пятый этаж каждый день до 1922 года делал её ноги красивыми. Её родители официально изменили её официальное имя на Лили Клодетт Шошуан. Жорж Шошуан работал мелким чиновником в First National City Bank. Прежде чем Кольбер поступила в государственную школу, она быстро выучила английский у своей бабушки Мари Лоу и продолжала свободно говорить по-французски. Она надеялась стать художником с тех пор, как взяла в руки свой первый карандаш. Её семья натурализовалась в США в 1912 году, мать хотела стать оперной певицей.
Кольбер училась в Вашингтонской средней школе Ирвинга (известной своей сильной программой по искусству), где её учитель речи Элис Россеттер призвала её пройти прослушивание для пьесы, написанной Россеттером. В 1919 году Кольбер дебютировала на сцене в Плейхаус Провинстауне в спектакле «Покров вдовы» в возрасте 15 лет. Однако интерес Кольбер по-прежнему склонялся к живописи, дизайну одежды и рекламе. Намереваясь стать модельером, она посещала Лигу студентов-художников Нью-Йорка и оплачивала своё художественное образование, работая сотрудницей магазина одежды. После посещения вечеринки с писательницей Моррисон Шапен, Энн Кольбер предложили эпизодическую роль в пьесе Моррисон. Она появилась на бродвейской сцене в небольшой роли в «Диких Уэсткоттс» (1923). Актриса использовала имя Клодетт вместо своего имени Лили со средней школы, а в качестве своего сценического псевдонима она добавила девичью фамилию своей бабушки по материнской линии, Кольбер. Её отец Жорж умер в 1925 году, а бабушка Мари Лоу умерла в Нью-Йорке в 1930 году.
