Родился 23 февраля 1944 года в посёлке Карсакпай Казахской ССР в семье Ивана Павловича и Марины Ивановны Янковских. Родители Янковского проживали в посёлке Рудник-Джезказган, но там в то время не было родильного отделения, и Олег Иванович появился на свет в Карсакпайской районной больнице.
Род Янковских имеет белорусские и польские корни.
Отец актёра Ян Янковский (позднее закрепилось имя Иван) до революции 1917 года был гвардейским офицером, штабс-капитаном лейб-гвардии Семёновского полка, в Первую мировую войну награждён орденом Святого Георгия. Во время Брусиловского прорыва был тяжело ранен. Служил вместе с Тухачевским, который тоже начинал карьеру в Семёновском полку. В начале 1930-х был арестован, а в 1936 году освобождён. В 1937 году Иван Павлович был снова арестован, — как утверждал сам Олег Янковский, — «погорел» за то, что «был другом Тухачевского». Вскоре освобождён. Во время Великой Отечественной войны работал в тылу — сначала на плавильном комбинате в Джезказгане, а затем, уже после рождения Олега, на закрытом комбинате в Ленинабаде, где добывали уран. В 1951 году семья перебралась в Саратов, а в 1953 году Иван Павлович скончался (дало знать о себе ранение, полученное в Первую мировую войну).
Иван Павлович любил театр, искусство, музыку; Марина Ивановна в юности мечтала стать балериной. У них была большая библиотека, которую собрал отец и сумела сохранить мать. Когда семья переехала из Джезказгана в Саратов, увлечением сыновей стал театр — старший Ростислав занимался в кружке художественной самодеятельности, средний брат, Николай, — в театральном кружке. Братья обожали спектакли местного ТЮЗа. Ростислав, окончив театральную студию в Ленинабаде, стал работать в местном театре. В 1957 году он перебрался в Минск, где начал играть на сцене Минского русского драматического театра им. М. Горького. Чтобы избавить мать от части материальных забот (в семье остался один кормилец — средний брат Николай), через год Ростислав забрал к себе 14-летнего Олега, который как раз закончил седьмой класс.
В Минске Янковский-младший дебютировал на сцене: тогда нужно было заменить заболевшую травести — исполнительницу эпизодической роли мальчика Эдика в спектакле «Барабанщица» А. Д. Салынского. Салынский, которому Олег попался на глаза, попросил того выйти на сцену и произнести несколько фраз, а после того принял решение о замене, сказав при этом: «Ты посмотри, какая органика у парня!». Олег любил футбол (болел за московский «Спартак»), которым увлёкся, ещё живя в Саратове. Перебравшись в Минск, он играл какое-то время вместе с Эдуардом Малофеевым. Но это увлечение отрицательно отразилось на учёбе, и старший брат запретил Олегу играть в футбол.
Мать переживала из-за отъезда сыновей, и, как только появилась возможность, Олег вернулся в Саратов, где окончил школу № 67. После школы Олег собирался поступать в медицинский институт, но случайно увидел объявление о приёме в Саратовское театральное училище. Вспомнив свой минский опыт на сцене, он решил попробовать свои силы. Приёмные экзамены уже закончились, но Янковский решил узнать о правилах приёма на следующий год и зашёл в кабинет директора. Тот только спросил фамилию и сказал, что Янковский зачислен. Как выяснилось спустя несколько месяцев, брат Олега — Николай — втайне от семьи решил поступать и с успехом прошёл творческий конкурс. Искренне любящий Олега Николай не стал разлучать его со сценой. Учился Олег не без проблем. Как вспоминал педагог по сценической речи: «Говорил плохо, аппаратом обладал тяжёлым, рот открывал неправильно». Но в роли Тузенбаха в дипломном спектакле «Три сестры» Олег Янковский сумел показать себя многообещающим, интересным актёром, и это развеяло сомнения мастера курса.
На втором курсе училища Янковский познакомился с Людмилой Зориной, которая училась на курс старше. Вскоре они поженились. Когда после училища Зорину пригласили в Саратовский драматический театр, она настояла, чтобы Янковского тоже взяли туда. После окончания в 1965 году Саратовского театрального училища (педагог — А. С. Быстряков) Янковский был зачислен в труппу Саратовского театра. Людмила быстро стала звездой театра. Олегу же сначала доставались лишь эпизодические роли, но позже он успешно сыграл в спектакле по роману «Идиот» роль князя Мышкина.
