Родился 23 февраля 1944 года в посёлке Карсакпай Казахской ССР в семье Ивана Павловича и Марины Ивановны Янковских. Родители проживали в посёлке Рудник-Джезказган, но там в то время не было родильного отделения, и Олег появился на свет в Карсакпайской районной больнице. По другим источникам — родился в Джезказгане.
Род Янковских имеет белорусские и польские корни.
Отец актёра Ян Янковский (позднее закрепилось имя Иван) до революции 1917 года был гвардейским офицером, штабс-капитаном лейб-гвардии Семёновского полка, в Первую мировую войну награждён орденом Святого Георгия. Во время Брусиловского прорыва был тяжело ранен. Служил вместе с Михаилом Тухачевским, который тоже начинал карьеру в Семёновском полку. В начале 1930-х был арестован, а в 1936 году освобождён. В 1937 году он был снова арестован, — как утверждал сам актёр, — «погорел» за то, что «был другом Тухачевского». Вскоре освобождён. Во время войны работал в тылу — сначала на плавильном комбинате в Джезказгане, а затем, уже после рождения Олега, на закрытом комбинате в Ленинабаде, где добывали уран. В 1951 году семья перебралась в Саратов, а в 1953 году отец скончался (дало знать о себе ранение, полученное в Первую мировую войну).
Иван Янковский любил театр, искусство, музыку; Марина Янковская в юности мечтала стать балериной. У них была большая библиотека, которую собрал отец и сумела сохранить мать. Когда семья переехала из Джезказгана в Саратов, увлечением сыновей стал театр — старший, Ростислав, занимался в кружке художественной самодеятельности, средний брат, Николай, — в театральном кружке. Братья обожали спектакли местного ТЮЗа. Ростислав, окончив театральную студию в Ленинабаде, стал работать в местном театре. В 1957 году он перебрался в Минск, где начал играть на сцене Минского русского драматического театра им. М. Горького. Чтобы избавить мать от части материальных забот (в семье остался один кормилец — средний брат Николай), через год Ростислав забрал к себе 14-летнего Олега, который как раз окончил седьмой класс.
В Минске Олег дебютировал на сцене: тогда нужно было заменить заболевшую травести — исполнительницу эпизодической роли мальчика Эдика в спектакле «Барабанщица» А. Д. Салынского. Любил футбол (болел за московский «Спартак»), которым увлёкся, ещё живя в Саратове. Перебравшись в Минск, играл какое-то время вместе с Эдуардом Малофеевым. Но это увлечение отрицательно отразилось на учёбе, и старший брат запретил Олегу играть в футбол.
Мать переживала из-за отъезда сыновей, и, как только появилась возможность, Олег вернулся в Саратов, где окончил школу № 67. После школы собирался поступать в медицинский институт, но случайно увидел объявление о приёме в Саратовское театральное училище. Приёмные экзамены уже закончились, но Янковский решил узнать о правилах приёма на следующий год и зашёл в кабинет директора. Тот только спросил фамилию и сказал, что Янковский зачислен. Как выяснилось спустя несколько месяцев, брат Олега — Николай — втайне от семьи решил поступать и прошёл творческий конкурс. Любящий Олега Николай не стал разлучать его со сценой. Учился Олег не без проблем. Как вспоминал педагог по сценической речи: «Говорил плохо, аппаратом обладал тяжёлым, рот открывал неправильно». Но в роли Тузенбаха в дипломном спектакле «Три сестры» сумел показать себя многообещающим, интересным актёром, и это развеяло сомнения мастера курса.
На втором курсе училища познакомился с Людмилой Зориной, которая училась на курс старше. Вскоре они поженились. Когда после училища Зорину пригласили в Саратовский драматический театр, она настояла, чтобы Янковского тоже взяли туда. После окончания в 1965 году Саратовского театрального училища (педагог — А. С. Быстряков) он был зачислен в труппу Саратовского театра. Людмила быстро стала звездой театра. Ему же сначала доставались лишь эпизодические роли, но позже он успешно сыграл в спектакле по роману «Идиот» роль князя Мышкина.
