Джон Андерсон родился и вырос в Клейтоне, штат Иллинойс. Во время Второй мировой войны служил в Береговой охране США, после окончания войны поступил в университет Айовы на факультет драмы.
За свою актёрскую карьеру Андерсон снялся более чем в 239 фильмах, часто снимался в вестернах. Так, в телесериале «Дымок из ствола» он появился двенадцать раз, в «Стрелке» одиннадцать раз, а в «Ларами» шесть раз. Среди других работ Андерсона были «Психо», «Скачи по высокогорью», «МЭШ», «Звёздный путь: Следующее поколение», «Специалист».
Джон Андерсон умер он сердечного приступа в своём доме 7 августа 1992 года. Его тело было кремировано.
