Вырос в Калифорнии. В 1986 году закончил школу имени Фреда С. Бейера в городе Модесто. Обучение продолжил в Университете Южной Калифорнии в Лос-Анджелесе, где изучал искусство и театр. В университетские годы успешно выступал в плавании (финалист в американских национальных соревнованиях на 200 метров вольным стилем). В дальнейшем переехал в Нью-Йорк, где начал работать в театре. В настоящее время активно снимается в кинофильмах, а также ведёт утреннюю спортивную передачу на радиостанции Indie 103.1 в Лос-Анджелесе. В 1991 году Олифант женился на Алексис Ниф. В семье три ребёнка — дочь Грейс (род. 1999), сын Генри (род. 2001) и дочь Вивьен (род. 2003). В настоящее время живёт в Лос-Анджелесе со своей семьёй.