Родителями Арнольда были Густав Шварценеггер (1907—1972) и Аурелия Шварценеггер, урождённая Ядрни (1922—1998), проживавшие в торговой общине Таль вблизи города Грац, столицы земли Штирия. Они поженились 20 октября 1945 года, когда Густаву было 38 лет, а Аурелии 23. Семья была католического вероисповедания и каждое воскресенье посещала церковь. Их старший сын Мейнхард Шварценеггер родился 17 июля 1946 года. 30 июля 1947 года родился младший сын, который был крещён как Арнольд Алоис Шварценеггер. Фамилия Шварценеггер происходит от названия швейцарской деревни Шварценегг, входящей в состав коммуны Унтерлангенегг.
После аншлюса Австрии в 1938 году Густав Шварценеггер вступил в НСДАП и СА. Во время войны он служил в фельджандармерии, где получил чин гауптфельдфебеля (старшего сержанта), в частности, он участвовал в военной операции по блокаде Ленинграда, где был ранен. В документальном мини-сериале «Арнольд» (2023) Шварценеггер сообщает, что его отец во время войны три дня пролежал под обломками рухнувшего дома, и получил ПТСР (как и многие другие австрийцы).
После денацификации Густаву было разрешено работать шефом местной полиции, так как не было найдено доказательств совершения им каких-либо военных преступлений. Семья жила бедно; одним из самых ярких воспоминаний молодости Шварценеггер называет покупку холодильника.
В своих воспоминаниях Шварценеггер описывает Австрию своего детства, как бедную страну, тяжело переживавшую своё поражение в войне. Его книга «Вспомнить всё» начинается словами «я родился в год большого голода».
У Арнольда сложились непростые отношения с семьёй, поскольку для австрийских родителей подчинение общепринятым правилам было важнее, чем личность ребёнка. Протестующий юный Арнольд Шварценеггер всегда хотел стать богатым и знаменитым.
Под влиянием отца Арнольд начал заниматься футболом, но в возрасте 14 лет предпочёл карьеру культуриста. Он был вдохновлён такими известными бодибилдерами, как Рег Парк, Стив Ривз, и спортсменом-пловцом Джонни Вайсмюллером, которых часто видел в кино. В 2001 году Шварценеггер так рассказывал о тех годах:
«Мой отец хотел, чтобы я стал полицейским, как и он. Мама предлагала пойти в торговлю».
В 14 лет, по воспоминаниям Арнольда, огромное влияние на него оказала победа Юрия Власова и его личная встреча с ним за кулисами. Он повесил дома фотографию Власова, что вызвало конфликт с отцом, который получил под Ленинградом ранение. В 1961 году Власов поехал в Вену на свой третий чемпионат мира по тяжёлой атлетике. В один из перерывов к нему привели, по его словам, худощавого, долговязого мальчика. Власов через переводчика пожелал юному Арнольду Шварценеггеру успехов в спорте и поддержал морально. Выступление Власова оказало влияние на Арнольда, он несколько лет упорно занимался спортивной тяжёлой атлетикой, но успехов не добился и после этого переключился на культуризм.
Он ежедневно занимался в тренажёрном зале «Либенауэр» в Граце; хотя клуб не работал по субботам и воскресеньям, Арнольд всё равно занимался и по выходным, залезая через окно по стремянке.
20 мая 1971 года брат Арнольда, Мейнхард, погиб в автомобильной аварии, находясь за рулём в нетрезвом виде. Арнольд не появился на похоронах Мейнхарда, так как узнал о смерти брата три дня спустя после случившегося. Брат был женат на Эрике Кнапп и оставил трёхлетнего сына Патрика. Арнольд позднее оплатил образование Патрика и помог ему с эмиграцией в США. Спустя год от инсульта умер Густав Шварценеггер. Арнольд не был на похоронах отца, так как ему сделали операцию на колене и он был в гипсе (см. А. Шварценеггер. Вспомнить все: Моя невероятно правдивая история).
