Хилари Эрхард Дафф родилась 28 сентября 1987 года в Хьюстоне, Техас. Она росла между Хьюстоном и Сан-Антонио с отцом Робертом Эрхардом Даффом, партнёром в сети мини-маркетов на двух точках, и матерью Сьюзен Коллин (в девичестве Кобб), домохозяйки, которая стала продюсером фильмов и альбомов, и старшей сестрой Хэйли, которая также актриса и певица.
С юных лет Дафф пошла по стопам старшей сестры, и по настоянию матери, пара записалась в кружки актёрского мастерства, пения и балета. Девочки получили роли в местных театральных постановках и вместе, в шесть и восемь лет, они приняли участие в балетном туре BalletMet с постановкой Щелкунчик в Сан-Антонио.
Из-за возрастающего интереса к шоу-бизнесу, сестры Дафф и их мать переехали в Калифорнию в 1993 г., в то время, как их отец остался в Хьюстоне, чтобы продолжить бизнес. Сёстры ходили на разные прослушивания в течение нескольких лет и были отобраны во многие ТВ-рекламы. Из-за актёрской карьеры Дафф обучалась на дому с восьми лет.
В начале актёрской карьеры Дафф играла незначительные роли в мини-сериале в стиле вестерн Настоящие женщины (1997) компании Hallmark Entertainment и в массовке в комедийной драме Превратности любви (1998). Её первая главная роль была маленькая ведьма по имени Венди в фильме Каспер встречает Венди, основанном на персонажах Harvey Comics, который был выпущен в 1998 г. Но после выхода он получил в основном негативные отзывы. После появления в роли второго плана Элли в ТВ-фильме Собиратель душ (1999), который был основан на романе Кэтлин Кейн, Дафф получила премию Молодой актёр в категории «Лучшее Появление в ТВ-фильме или Пилотной Серии (Молодая Актриса Второго Плана)».