Ян Флеминг родился в семье светской львицы Эвелин Сен-Круа Роуз и консервативного политика Валентайна Флеминга. Валентайн Флеминг был сыном шотландского финансиста Роберта Флеминга, основавшего шотландско-американский инвестиционный траст и торговый банк Robert Fleming & Co, и Кейт Хиндмарш, дочери офицера налогового управления. Пять братьев и сестёр Роберта умерли в детстве от дифтерии, и зрелого возраста достигли только сам Роберт и его брат Джон, позднее ставший лордом-провостом Абердина. Помимо Валентайна, в семье Роберта и Кейт был сын Филип, родившийся в 1889 году, и две дочери — Дороти, появившаяся на свет в 1885 году, и Кейтлин, которая была младше сестры на два года. Вскоре после рождения младшего сына семья Флемингов переехала в Лондон, где приобрела несколько особняков. Сыновья Роберта обучались в Итоне и Оксфорде; в 1905 году Валентайн окончил оксфордский колледж Магдалены, получив степень по истории, а также «манеры и осанку настоящего джентльмена». В 1909 году Валентайн стал одним из партнёров отца в новообразованном банке, а ещё через год он был избран консервативной партией членом парламента от Хенли.
Через год после окончания колледжа, 15 февраля 1906 года, Валентайн женился на Эвелин Сен-Круа Роуз, дочери мирового судьи Джорджа Альфреда Сен-Круа Роуза и Беатрис Квейн. Эвелин происходила из весьма уважаемого семейства: по отцу она была внучкой сэра Филипа Роуза, консультанта по юридическим вопросам премьер-министра Дизраэли; по матери — сэра Ричарда Квейна, ведущего лондонского хирурга и редактора известного «Медицинского словаря». Помимо Эвелин, в семье была дочь Кейтлин и двое сыновей — Айвор и Харткорт. Айвор обучался в Итоне, а Харткорт — в Итоне и Оксфорде, где познакомился с Валентайном Флемингом. Согласно семейной легенде, Валентайн и Эвелин встретились на балу в Оксфорде; кроме того, отец девушки увлекался регатой, в которой также принимал участие Валентайн. Эвелин была полной противоположностью будущего супруга: она играла на скрипке и неплохо рисовала акварелью, в то время как ни один представитель семейства Флемингов не имел способностей ни в музыке, ни в искусстве. Кроме того, Эвелин была женщиной в высшей степени легкомысленной и расточительной, отличавшейся снобизмом и тщеславием. Несмотря на первоначальное несогласие с выбором невесты, отец Валентайна перевёл на счёт сына четверть миллиона фунтов вскоре после свадьбы; на эти деньги семейство приобрело несколько домов, два из которых располагались по соседству с владениями родителей Валентайна. В доме в Мейфэре, находившемся за углом дома Флемингов-старших, появились на свет старшие сыновья Эвелин — Питер и Ян. Питер (1907—1971), был автором путевых очерков и был женат на актрисе Селии Джонсон. Во время Второй мировой войны Питер служил в гренадерской гвардии, позднее был переведён под командование Колина Габбинса, где помогал создавать вспомогательные подразделения и занимался операциями в Норвегии и Греции.
Кроме Питера и Яна в семье было ещё двое сыновей — Майкл (1913—1940) и Ричард (1911—1977). Кроме того, через шесть лет после смерти мужа во время продолжительного романа c художником Огастесом Джоном Эвелин родила дочь Амариллис (1925—1999), ставшую профессиональной виолончелисткой.
В 1914 году с началом Первой мировой войны Валентайн присоединился к эскадрону С королевского оксфордширского гусарского полка, где получил звание майора. Незадолго до отправки на фронт Валентайн подписал завещание, в котором его вдове доставался дом недалеко от Хампстед-Хит, а также солидная пенсия, которая могла быть урезана в случае повторного брака Эвелин; большая часть имущества была передана в траст для обеспечения благополучия четверых сыновей Валентайна и их будущих семей. Валентайн был убит во время немецкого обстрела на западном фронте 20 мая 1917 года; Уинстон Черчилль, который был близким другом Флеминга-старшего, а его брат Джек служил вместе с Валентайном в начале войны, написал некролог, напечатанный в The Times. Поскольку семье принадлежало поместье в Арнисдейле, имя Валентайна значится на военном мемориале в Гленелге.