Джон Лодер был женат пять раз. Его первой женой была Софи Кабель, в браке с которой родился один ребёнок. С 1936 по 1941 год он был женат на актрисе Мишлен Шерель, в этом браке также родился один ребёнок. Брак закончился разводом. Третьей женой Лодера была голливудская кинозвезда Хэди Ламарр, с которой он прожил с 1943 года вплоть до развода с 1947 году. В этом браке родилось 2 детей. В 1949—1955 годах он был женат на Эвелин Ауф Мордт, а с 1958 года и до развода в 1972 году Лодер бы женат на вдове богатого аргентинского скотовладельца Альбе Хулии Ламарсино, и некоторое время даже прожил в Аргентине. Этот брак также закончился разводом.
В 1977 году Лодер опубликовал автобиографию «Голливудский гусар».