Бардем родился в городе Лас-Пальмас-де-Гран-Канария, на Канарских островах, Испания. Его мать Пилар Бардем (урождённая Мария дель Пилар Бардем Муньос) была актрисой, а его отец — Хосе Карлос Энсинас Доуссинаге — имел кубинские корни, работал бизнесменом в экологической сфере. Вскоре после рождения Хавьера родители развелись. Его мать растила детей одна. В семье Бардема очень много режиссёров и актёров: его дедушка — режиссёр Рафаэль Бардем, бабушка — актриса Матильда Муньос Сампедро, дядя — режиссёр и сценарист Хуан Антонио Бардем. Актёрами стали и его сестра Моника Бардем и брат Карлос Бардем.
Ребёнком Хавьер проводил много времени в театрах и на съемочных площадках. Когда Бардему было 6 лет, он впервые сыграл в телевизионном сериале Фернандо Фернана Гомеса «Плут» (El pícaro). До того как стать актёром, Хавьер был членом испанской национальной сборной по регби. Хоть он и рос в актёрской семье, он не видел себя в этом бизнесе. Живопись была его первой любовью, которую он начал изучать в художественно-промышленной школе (Escuela de Artes y Oficios). Нуждаясь в деньгах, чтобы платить за своё обучение, Хавьер начал карьеру актёра, но он также говорил, что был плохим художником, и вскоре оставил эту идею. В 1989 году он участвовал в комедийном телевизионном шоу «Весь день впереди» (El día por delante), где должен был носить костюм Супермена в разных скетчах. Также Бардем признался, что один день работал стриптизёром.
Бардем — агностик. По его словам: «верит не в Бога, а в Аль Пачино».
