Сержио Мендес родился в бразильском городе Нитерой в феврале 1941 года в семье врача. Музыкальное образование он получил в местной консерватории, где обучался игре на пианино. С конца 1950-х годов он стал выступать в ночных клубах, где исполнял музыку в особенно популярном в те годы стиле босса-нова. Мендес часто выступал со многими джазовыми музыкантами, посещавшими Бразилию, а также и с местными мэтрами, среди которых был и Антониу Карлос Жобин, ставший для юного Мендеса наставником.
В начале 1960-х годов он сформировал музыкальный коллектив «Sexteto Bossa Rio», а в 1961 году была выпущена их первая пластинка под названием «Dance Moderno». Вскоре он организовал гастрольное турне по Соединённым Штатам и Европе, записав при этом пару альбомов вместе с джазовыми музыкантами Кэннонболом Эддерли и Херби Манном. В 1964 году Мендес переехал в США, где в совместном музыкальном коллективе под названием «Сержио Мендес и Brasil '65» записал два альбома на студиях «Capitol Records» и «Atlantic Records».