Кларк Гейбл родился 1 февраля 1901 года в Кадисе, штат Огайо, и был крещён в католической церкви. Он был единственным ребёнком Уильяма Генри Гейбла (1870—1948), буровика на нефтяной скважине, и его жены Аделины (1869—1901, в девичестве — Гершельман). Предки его родителей были выходцами из Германии. Его отец был протестантом, а мать католичкой. Гейбла назвали Уильямом в честь своего отца, но почти всегда его звали Кларк, и отец называл его «ребёнком». Из-за неразборчивого почерка доктора он был ошибочно внесён в реестр округа как мальчик и девочка; служащий позже исправил его на мальчика. У него в роду были пенсильванские голландцы, бельгийцы и немцы.
Гейблу было шесть месяцев, когда он крестился в римско-католической церкви в Деннисон, Огайо. Когда ему было десять месяцев, умерла его мать. Его отец отказался воспитывать его в католической вере, что вызвало критику со стороны семьи Хершельман. Спор был разрешён, когда его отец согласился позволить ему проводить время со своим дядей по материнской линии Чарльзом Хершельманом и его женой на их ферме в Вернон Тауншип, штат Пенсильвания. В апреле 1903 года отец Гейбла женился на Дженни Данлэп (1874—1920).
Мачеха Гейбла воспитывала высокого застенчивого ребёнка, чтобы он был хорошо одет и ухожен. Она играла на пианино и давала ему уроки дома. Позже он занялся медными духовыми инструментами, став единственным мальчиком в городском оркестре Hopedale Men’s в возрасте 13 лет. Гейбл был склонен к механике и любил ремонтировать машины вместе со своим отцом, который настаивал на том, чтобы он занимался мужской деятельностью, такой как охота и тяжёлый физический труд. Гейбл также любил литературу; он читал Шекспира среди доверенной компании, особенно сонеты.
Его отец столкнулся с финансовыми трудностями в 1917 году и решил попробовать свои силы в сельском хозяйстве, и переехал с семьёй в Пальмиру, недалеко от Акрона, Огайо. Его отец настоял на том, чтобы он работал на ферме, но Гейбл вскоре уехал, чтобы работать в Акроне в Firestone Tire and Rubber Company.
