Свенсон родился в Швеции в семье Лолы Ирис Виола, лидера биг-бэнда, актрисы и певицы, и Биргера Рагнара Свенсона, личного водителя, спортсмена и телохранителя короля Швеции. Он эмигрировал в Соединённые Штаты, а затем, когда ему было 17 лет, поступил на службу в Корпус морской пехоты США, где прослужил до своего почётного увольнения шесть лет спустя. Его первым местом проживания в Штатах была Джорджия, где он познакомился с сельским южным акцентом, который позднее использовал в некоторых своих ролях.
Он также имеет чёрный пояс четвёртой степени (ёндан) по дзюдо. Свенсон получил пояс первой степени (сёдан) в Кодокане в Японии, домашнем додзё дзюдо, когда он служил в Японии в 1961 году в качестве морского пехотинца. В 1961 году он был чемпионом Дальнего Востока по дзюдо в тяжёлом весе.