Родился 3 декабря 1968 года в Индианаполисе, Индиана в семье канадцев. Его мать, Кэрол Мэри (урождённая Женеро), была советником по продажам, а его отец, Питер, бывший журналист, который работал на дипломатической службе министерства туризма в Канаде. Его дядя по материнской линии, Джордж Женеро, был единственным канадцем, выигравшим золотую медаль на Летних Олимпийских играх 1952. У Брендана три старших брата: Кевин, Шон и Реган. Среди его предков числятся ирландцы, шотландцы, чехи, немцы, франкоканадцы.
Будучи ребёнком, Брендан вместе с семьёй много путешествовал. Долгое время жил в Нидерландах, Швейцарии, Италии, Лондоне и различных городах США.
Фрейзер посещал частную школу-интернат для мальчиков, «Колледж Аппер Канада» в Торонто. Находясь на отдыхе в Лондоне, в возрасте 12 лет, Фрейзер впервые поучаствовал в профессиональной постановке в Вест-Энде. Позднее, в 2001 году, он вновь возьмётся за театральную роль в хите лондонского Вест-Энда '«Кошка на раскалённой крыше»' Теннесси Уильямса.
Брендан Фрейзер изучал актёрскую профессию в Торонто и Сиэтле. В 1990 году, в Сиэтле окончил Корнишский колледж искусств. Сниматься Брендан начал в маленьком актёрском колледже в Нью-Йорке. Первоначально он планировал окончить школу в Техасе, но остановился в Голливуде на своём пути на юг и решил остаться в Лос-Анджелесе, чтобы участвовать в кинопроектах.
