Другим музыкантом, которого интересовали планы Джимми был Джон Пол Джонс — басист и аранжировщик (он уже играл с Пейджем в ряде сейшенов, начиная с 1965 года). Еще до развала Yardbirds Джимми неплохо отзывался о нем: «Я работал на концертах для Донована, а Джон Пол Джонс следил за музыкальными аранжировками. Во время перерыва он поинтересовался — не нужен ли мне басист в группу. Джонс беспрекословно считался блестящим аранжировщиком и музыкантом. Ему не нужно было искать работу. Я просто мог помочь ему самовыразиться, а он считал, что нам лучше работать вместе … У Джона была отличная музыкальная подготовка и великолепные идеи. И я воспользовался случаем для приглашения».
Его настоящее имя — Джон Болдвин. Он родился 3 января 1946 года в Сидкапе (графство Кент). Родители Джона занимались разными видами бизнеса. В возрасте двух лет он уже занимался музыкой. Его отец подрабатывал на пианино в немых фильмах и Джон сам начал играть с 6 лет. Позже, Джонс с отцом стали обладателями пианино — бас-дуо и выступали в охотничьих клубах, барах и на вечеринках.
Летом они отправлялись в “Isle of White Yacht Club”. Джон получил свою первую бас гитару в возрасте 13 лет. Подарил ее отец и только после вступления в группу. Да и не мог Джон возить пианино в грузовике. Отец советовал: «Это не дело. Купи-ка лучше саксофон-тенор. Через 2 года никто и не вспомнит о бас гитаре.» Я ответил: «Нет папа, я хочу приобрести именно ее, да и работа нашлась». Тогда, глава семейства немедленно купил гитару. Джонс жил в школе-пансионе — «Колледж Христа». Тогда же он и создал свою первую группу. Парень находился под огромным влиянием джазовых басистов Чарльза Мингуса и Скотта Ла Фаро, игравшим с Биллом Эвансом. Однажды по радио он услышал соло на басу в исполнении Фила Апчерча в песне “You Can’t Sit Down” … Бас может быть!!! соло инструментом в рок-музыке, что уже доказал Мингус в джазе.
К моменту своего 16-летия, Джон Болдвин уже имел группу, выступавшую на американских военных базах южного побережья Англии. По вечерам громадные чернокожие сержанты просили сыграть “Night Train”. В следующем 1962 году Джонс окончил школу и получил свою первую работу с Тони Харрисом и Тони Михэном, которые только что покинули Shadows. Михэн имел сингл “Diamonds” (где Джимми играл на гитаре). В 17 лет ему предложили работу басиста. На ритм-гитаре играл Джон Маклафлин — лучший гитарист Англии того времени. Сотрудничество продолжалось 18 месяцев и постепенно Джон Болдвин стал появляться в студиях со своей бас гитарой. В 1964 году в возрасте 18-ти лет он взял псевдоним Джона Пола Джонса и выпустил свою первую запись — инструментальную композицию под названием “Baja”. Вторая сторона сорокапятки включала оригинальное произведение “A Foggy Day In Vietnam”.