Джимми Харта привёл в рестлинг Джерри «Король» Лоулер, с которым они учились в Treadwell High School в Мемфисе, и Харт стал его менеджером. Впоследствии между ними возникло противостояние. После разделения с Лоулером, Харт создал объединение, известное как «Первая семья», в которое, среди прочих, входили: Кинг-Конг Банди, «Восхитительный» Рик Руд, Лэнни Поффо, Джим «Наковальня» Нейдхарт, Окс Бейкер, Камала, Рэнди Сэвидж, «Хот Стафф» Эдди Гилберт, Железный Шейх и Кевин Салливан.
В 1982 году Джимми Харт получает широкую известность, делая программу с комиком и телезвездой Энди Кауфманом. Вражда Харта и Кауфмана с Лоулером продолжилась более года. Примерно в это время Харт становится известен как «Слабак» (The Wimp). Это прозвище было дано ему Джерри Лоулером в песне «Wimpbusters», спетой на мотив песни «Ghostbusters» Рэя Паркера-мл. Было также изготовлено музыкальное видео с участием Лоулера, анонсера Лэнса Расселла и рестлеров Рэнди Сэвиджа, Джимми Вэлианта, Датча Мантела, Томми Рича и Руфуса Р. Джонса, а также с кадрами, где Лоулер побеждает Харта и его «Первую семью».
С 1981 по 1984 годы Харт приводил Остин Айдола, Масао Ито и Эдди Гилберта к интерконтинентальным титулам NWA/AWA.