Родился 16 августа 1934 года в семье текстильного промышленника. Отец Ришара, разорившись, бросил жену, когда сыну было 3 года, и, поскольку средств для содержания ребёнка у него не было, отдал его на попечение в семью своего деда, потомка старинного аристократического рода, который жил на севере Франции.
Сам актёр говорил, что получил интересный личный опыт из своего детства — его дед по отцовской линии принадлежал к аристократии и респектабельным буржуа, не одобрял брак сына и отправил внука в обычный пансионат, где мальчик учился вместе с детьми простых рабочих. Дед по материнской линии был простым моряком, с которым Пьер убегал на выходных ловить рыбу. Именно тот поощрял способности Ришара к актёрству. Чтобы найти общий язык с одноклассниками, мальчик по совету деда развлекал их шутками. По достижении совершеннолетия Пьер Ришар уехал в Париж поступать на драматические курсы. Дед по отцовской линии выступил против, и это послужило поводом для разрыва с семьёй.
У актёра два сына, оба музыканты: Оливье Дефе (Olivier Defays) — саксофонист, Кристоф Дефе (Christophe Defays) — контрабасист.