Джеймс Мэй родился в Бристоле. Кроме него в семье было ещё трое детей: старшая сестра Джейн, младшая Сара, а также брат. В детстве его семья часто перемещалась по стране. Сначала он посещал Каэрлеонскую начальную школу близ Ньюпорта на юге Уэльса. Юношеские годы провёл в Саут-Йоркшире, где посещал Оуквудскую общеобразовательную школу в Ротереме, по случайному совпадению в этом же городе начинал журналистскую карьеру Джереми Кларксон. Кроме того, в школе он учился с Дином Эндрюсом, звездой сериалов «Жизнь на Марсе» и «Прах к праху». Будучи ребёнком, он был хористом в Уистонской приходской школе. Прекрасный флейтист и пианист, он позднее обучался музыке в Ланкастерском университете, где был членом Пендлского колледжа.