Семья жила в Убе, промышленном городе, где заводы производили химикаты, сталь и бетон, и остро стояла проблема загрязнения воздуха. Отец был инвалидом: в 16 лет он получил серьёзную травму левой ноги во время работы с электрической пилой на лесопилке, после чего носил протез ниже бедра, и из-за проблем с ходьбой, долгое время сидел дома, потом стал портным в ателье, и мог работать, сидя на стуле и с педалями швейной машины. Перенёс операцию в местной больнице, но хирург допустил небрежность. Юный Хидэаки часто видел край кости, торчащий из плоти и вызывавший боль, потому что искусственная нога не подходила. Отец был меланхоличным, часто жаловался жене: «Я бы никому не проиграл, будь у меня обе ноги здоровые». Если сын делал что-то не так, он избивал его. Иногда мать приходила на помощь и уводила из-под удара. Отец также сказал ему то, что говорят нежеланному ребёнку: «Лучше бы тебя не было».
Когда Хидэаки учился в старших классах, на рынке появились недорогие готовые костюмы, и отец уже не мог зарабатывать на жизнь в ателье. Поэтому он устроился разносчиком газет и ездил по городу на велосипеде, показывая, что способен работать как все, перестав жаловаться. Дальше получил водительские права, об увлечении сына анимацией ничего не говорил. От семьи Анно-младший отдалился. Для него роботы без руки или ноги выглядели лучше. Их он рисовал ещё в начальной школе. «Что-то сломанное или несовершенное приходит ко мне более естественно». Так формировался образ Синдзи.