Ёсида родился в городе Фукуи в семье инженера. После окончания средней школы в 1947 году юноша поступил в специальное учебное заведение с углублённым изучением французского языка. Ещё в школьные годы он начал писать стихи и пьесы, и одно из его стихотворений получило Золотой приз на конкурсе радиовещательной компании Эн-Эйч-Кей.
В 1951 году Ёсида поступил на филологический факультет Токийского университета, где избрал своей специальностью французскую литературу. Уже в студенческие годы он написал роман, а также стал с группой однокашников издавать журнал «Косо» («Идеи»). О какой бы то ни было работе в кино он и не задумывался, да и кинематографом особо не интересовался, решив посвятить себя изучению французской литературы. Однако в 1955 году, после смерти отца, ему пришлось задуматься, как прокормить оставшихся младших братьев, и он в поисках работы находит место на студии «Офуна», принадлежащей компании «Сётику».
