Родился в семье бедного еврейского учителя в городе Белая Церковь Российской империи (ныне Киевской области Украины). В 1914 году окончил архитектурное отделение Киевского художественного училища, в 1927 году — полиграфический факультет ВХУТЕМАСа, где его наставником был Владимир Фаворский. С 1921 года работал в театре, с 1927 года — в кино, когда был приглашён на Одесскую киностудию ВУФКУ. В 1928 году начал преподавать в Одесском кинотехникуме, а затем в Киевском киноинституте.
С 1933 года работал на студии «Москинокомбинат» («Мосфильм» — с 1935 года). Является одним из основателей художественного факультета ВГИКа, где преподавал c 1940 года. В годы войны находился в эвакуации в Алма-Ате, где продолжил преподавание и работу над фильмами, в частности над «Иваном Грозным». Шпинель воспитал целую плеяду учеников, в числе которых Ю. А. Екельчик, Л. А. Шенгелия и Б. Маневич-Каплан. С 1965 года — профессор.
За годы в кино сотрудничал со многими выдающимися режиссёрами А. П. Довженко, С. М. Эйзенштейном, М. И. Роммом, Г. Л. Рошалем, Ю. Я. Райзманом и С. И. Юткевичем.
…художник Шпинель, соавтор всех моих кинолент с 1928 года, рассказывал, восторгаясь и радуясь, о своей совместной работе с Эйзенштейном. Он вспоминал уже осуществлённого «Александра Невского» и показывал новые наброски эскизов к «Ивану». Иосиф Шпинель — человек маленького роста и огромной души, профессор ВГИКа, учитель сотен художников — был переполнен Эйзенштейном до краёв.
Словно отблеск мрачной и бурной эпохи лежит на всей атмосфере действия фильма Эйзенштейна «Иван Грозный» — на тяжёлых сводах и дворцовых галереях, на освещённых тревожным пламенем свечей соборных фресках. Работа Шпинеля в этом фильме помогает ощутить время со всеми его противоречиями, усиливает трагическую напряжённость драматургических конфликтов.
И. А. Шпинель скончался 2 июля 1980 года в Москве.
