Родился в Минске в семье бухгалтера Арона Нахмановича Шварцмана, уроженца Вильны, и домохозяйки Рахили Соломоновны Шварцман, родом из Минска. В семье говорили на идише. Кроме Леонида, у Шварцманов были также сын Наум и дочь Этта. Отец Леонида Ароновича умер в 1934 году, его сбила машина. Подростком переехал в Ленинград, где уже обосновалась его старшая сестра.
В 1941 окончил школу при Институте живописи, скульптуры и архитектуры и был призван в армию. Шварцман строил укрепления и работал в ремонтно-механическом цеху. В ноябре 1941 года было государственное решение об эвакуации специалистов из блокадного Ленинграда и Шварцмана самолётом вывезли в Тихвин, а оттуда поездом доставили в Челябинск. Затем Шварцман работал токарем на танковом заводе в Челябинске, а также бесплатно там же — художником-оформителем. Причиной перевода на должность художника-оформителя (в специально созданную мастерскую) стал портрет Сергея Кирова, выполненный Шварцманом для главной проходной завода имени Кирова к годовщине его убийства.
Мать Леонида Ароновича (он перевез её туда перед Великой Отечественной войной) погибла в 1942 году при блокаде Ленинграда.
В 1945 приехал в Москву, поступил во ВГИК.
С 1948 работал на киностудии «Союзмультфильм», в 1951 окончил ВГИК с дипломом художника-постановщика мультфильмов, в том же году работал как художник-постановщик в соавторстве с Александром Винокуровым, с 1963 года стал работать самостоятельно, а с 1975 — как режиссёр.
Кроме того, Шварцман известен тем, что как художник-постановщик принимал участие в создании визуального образа Чебурашки для мультфильма Романа Качанова «Крокодил Гена» в 1969.
Впоследствии Чебурашка стал также талисманом Олимпийской сборной России на летних Олимпийских Играх 2004 года в Афинах.
Участник многих выставок, в том числе — персональных, иллюстрирует детские книги. Выдвигался на Ленинскую и Сталинскую премии. Обладатель американской награды «Голливуд — детям» и приза «За вклад в профессию» на XI ОРФАК в Суздале (2006). Член Академии кинематографических искусств «Ника». Член АСИФА. Почётный директор Музея анимационного кино.
Леонид Шварцман — переученный левша, однако рисует всё же левой рукой.