Родился в Бертон-апон-Тренте, графство Стаффордшир, некоторое время жил в Портсмуте, где посещал школу для мальчиков; в детстве был известен как Дэвид Иэн Джексон. Вскоре вместе с родителями переехал в Госпорт. Первоначально брал уроки игры на скрипке, затем переключился на фортепиано. После того как его отец приобрёл подержанное пианино, получил возможность более регулярно заниматься музыкой. Начиная с шестнадцати лет играл на фортепиано в барах; в 1972 году поступил в лондонскую Королевскую музыкальную академию, где изучал композицию.
Ещё в Госпорте был приглашен в группу Edward Bear (английская); затем название сменили на Edwin Bear, позднее стали называться Arms and Legs. Покинул группу в 1978 году; в 1977 состоялось первое выступление нового коллектива под названием The Joe Jackson Band. В 1978 Джо Джексон переехал в Лондон, хотя продолжал работать над музыкальным материалом в студии в Портсмуте. Вскоре его демо-ленты попали в руки американскому продюсеру Дэвиду Кершенбауму из A&M Records, и состоялось подписание контракта на запись альбома на этом лейбле. Альбом Look Sharp! («Смотри в оба!») был выпущен в 1979 году. В том же году увидел свет ещё один альбом под названием I’m the Man, а в 1980 году — диск Beat Crazy. В 1981 году был продюсером альбома британской пауэр-поп-группы The Keys. Тогда же удивил публику, выпустив свинг-джамп-блюзовый альбом Jumpin’ Jive с кавер-версиями Кэба Кэллоуэя, Лестера Янга, Гленна Миллера и Луиса Джордана.
Следующий диск Night and Day(«Ночь и день») (1982), обозначивший поворот от энергичного поп-рока в сторону софисти-поп с элементами латиноамериканского стиля сальса и классического песенного стиля в духе Джорджа Гершвина и Кола Портера — вошёл в топ-10 британских и американских чартов: в Британии он занял третье место, а в США — четвёртое. Начиная с 1982-го и по 2002 год Джо Джексон работал в США. В 1984 году в музыкальных магазинах появилась его новая работа — альбом Body and Soul(«Тело и душа»), на котором заметно его увлечение джазовыми и поп-стандартами (14-е место в Британии). Сингл «You Can’t Get What You Want (Till You Know What You Want)» достиг 15-й строки в хит-параде США. В 1986 году работал совместно с Сюзан Вега над звуковой дорожкой к фильму «Девушка в розовом»(Pretty in Pink)(1986).
Во второй половине 90-х годов наметился дальнейший отход от песенной формы: в 1997 году он подписал контракт с фирмой Sony Classical и в 1999 году выпустил диск Symphony No. 1, за который получил премию Грэмми в категории «Лучший инструментальный поп-альбом» в 2001 году.
В 1995 выразил уважение группе XTC, сделав кавер-версию их композиции «Statue Of Liberty» («Статуя Свободы») на сборнике «Testimonial Dinner»(1998).