Иноки родился в обеспеченной семье в Иокогаме в 1943 году. Он был шестым сыном и вторым по младшинству из семи мальчиков и четырёх девочек. Его отец, Садзиро Иноки, бизнесмен и политик, умер, когда Кандзи было пять лет. Иноки поступил в школу Хигасидай. В шестом классе старший брат обучал Иноки карате. К тому времени, когда он учился в седьмом классе младшей средней школы Тэрао, его рост составлял 180 см, и он вступил в баскетбольную команду. Позже он бросил занятия и присоединился к клубу лёгкой атлетики в качестве толкателя ядра. В итоге он выиграл чемпионат на соревнованиях по лёгкой атлетике среди младших классов средней школы Иокогамы.
В послевоенные годы семья переживала тяжёлые времена, и в 1957 году 14-летний Иноки эмигрировал в Бразилию вместе со своим дедом, матерью и братьями. Его дед умер во время путешествия в Бразилию. Иноки выиграл региональные чемпионаты Бразилии в толкании ядра, метании диска и копья и, наконец, всебразильский чемпионат в толкании ядра и диска.