Родился 22 мая 1941 года в Вологодской области, в деревне Опихалино, в семье портного. Его отец был портным, прошедшим финскую войну и вернувшимся домой инвалидом. Николай был младшим из троих мальчиков, подраставших в семействе Олялиных. В детстве занимался в кружке самодеятельности в местном Доме офицеров.
В 1959 году поступил в ЛГИТМиК, на курс Алексея Яна. По окончании института был направлен в Красноярский театр юного зрителя, на сцене которого за несколько лет переиграл множество разноплановых ролей.
Дебютировал в кино в роли лётчика-истребителя Николая Болдырева (фильм «Дни лётные», вышедший на экраны в 1966 году). Через год приглашён режиссёром Юрием Озеровым на одну из ведущих ролей в киноэпопее «Освобождение». Роль капитана Цветаева заслуженно принесла Николаю Олялину всесоюзную известность.
С 1968 года снимался на киностудии имени Довженко.
В 1990 году по своему сценарию поставил мелодраму «Неотстрелянная музыка», одну из главных ролей в которой исполнил сам.
Скончался 17 ноября 2009 года в Киеве от обширного инфаркта. Похоронен 19 ноября 2009 года на Байковом кладбище в Киеве (участок № 49а).
