Аллен родился и вырос в Нью-Йорке (квартал Мидвуд в Бруклине) в еврейской семье. Будущий режиссёр получил при рождении имя Аллен Стюарт Конигсберг. Дедушки и бабушки Аллена были эмигрантами из Литвы (Исаак Кенигсберг и Дженни Коплин) и Австрии (Леон Шерри и Сара Хофф), родным языком которых был идиш. Его мать Нетти (1906—2002) работала бухгалтером в семейном кондитерском магазине, а отец — Мартин Конигсберг (1900—2001) — владел профессиями официанта и гравёра-ювелира. Оба его родителя выросли в квартале Нижний Ист-Сайд, на Манхэттене.
У Аллена также есть младшая сестра Летти (родилась в 1943). С середины 1990-х годов Летти Аронсон занимается продюсированием фильмов брата. Снялась в документальном фильме об Аллене (2012).
