Был сентябрь 1684 года, и Баннистер несколько недель готовился к побегу. В январе он, согласно информации Моулзвёрта, «под покровом ночи отчаянным решительным образом покинул форт, обеспечив себя затычками всех размеров, чтобы иметь возможность заткнуть любую пробоину, которую могли сделать ему пушки из форта, для чего он, по слухам, поместил в трюме около 50 человек, стоявших наготове. Но из-за небрежности часовых и темноты ночи, имея к тому же благоприятный бриз с суши, он прошел рядом с фортом еще до того, как майор Бекфорд, командовавший оным, смог заметить его… Бекфорд сделал все, что мог, но произвел в его сторону лишь три выстрела. Он сначала отправил мне сообщение о случившемся, каковое было для меня полной неожиданностью…».
От Ямайки Баннистер повернул к Сен-Доменгу. К моменту, когда он прибыл туда, в Пти-Гоав пришел с флотилией Граммон. Баннистер последовал за ним на остров Ваш, а оттуда – к островам Сан-Блас. Там его корабль был обнаружен военным кораблем «Руби», но его командир, капитана Митчелл, не рискнул идти на конфликт с превосходящими силами флибустьеров и предпочел ретироваться.
От Панамы флотилия Граммона пошла в Гондурасский залив, а затем напала на порт Кампече (лето 1685 года). Поскольку это предприятие не принесло большой добычи, некоторые пираты решили отделиться от Граммона. Таким образом, в начале сентября Баннистер покинул Кампече в обществе капитанов Лауренса де Граффа, Брэхи, Дюшена и Лагарда. 10-го числа того же месяца, между мысом Каточе и рифом Алакран, эти пираты наткнулись на 4 корабля
Не имея провианта и нуждаясь в кренговании, Баннистер и два его компаньона достигли северного берега Ямайки в октябре или в ноябре. 26 ноября губернатор Моулзвёрт, информированный об их присутствии, послал против них капитана Митчелла на «Руби», который застал в Порт-Люсии корабль капитана Дюшена. Дюшен и его люди при приближении королевских моряков спрятались в лесной чаще. Баннистер пришел за ними вскоре после ухода Митчелла и забрал их на борт «Голден флиса».
В январе 1686 года, в то время как Лагард пошел на остров Ваш, Баннистер прибыл на рейд Пти-Гоава. Предупрежденный о прибытии «Голден флиса», губернатор Кюсси в феврале прибыл в порт и велел Баннистеру немедленно покинуть французскую колонию, запретив брать кого-либо к себе на борт, а также пользоваться французским флагом. Прибыв на остров Ваш, Баннистер информировал капитана Лагарда о недружественном приеме, оказанном ему в Пти-Гоаве.
После этого Баннистер и Лагард решили оперировать в консорте как обычные пираты, нападая на суда всех наций. Кюсси узнал об этом 28 марта, когда оба пирата уже успели ограбить 2 английских торговых судна. В тот же день Кюсси поднялся на борт фрегата «Ла Сюбтиль» со 120 людьми, чтобы попытаться задержать их. Но 3 апреля 1686 года в окрестностях острова Ваш он встретил двух других охотников на пиратов, которые рыскали с той же целью: капитана «Руби» Митчелла, вооружившего торговое судно «Санта Роса», и капитана «Бонетты» Стэнли, которые неделей раньше ушли с Ямайки на поиски Баннистера. Но ни Кюсси, ни англичане не нашли следов пиратов.
В мае 1686 года одна из жертв Баннистера прибыла в Порт-Ройял, принеся новость, что Баннистер и Лагард ремонтируют свои суда в заливе Самана на северо-восточной оконечности Эспаньолы. Кроме того, стало известно, что 19 мая другое пиратское судно вошло в залив Самана: это был «Сент -Николас», голландский корабль с 10 пушками, ходивший в Гвинею и возвращавшийся оттуда в Пти-Гоав. Баннистер задержал «Сент-Николас», когда его люди ремонтировали «Голден флис».
Получив это известие, губернатор Моулзвёрт отправил в Саману корабли «Фалкон» (капитан Чарлз Талбот) и «Дрейк» (капитан Томас Спрэгг). Как и ожидалось, они нашли там Баннистера, имевшего под своим командованием 200 человек; «Голден флис» и «Сент-Николас» кренговались, но все их пушки были установлены на батарее на пляже. Началась артиллерийская дуэль, в ходе которой «Голден флис» был почти полностью уничтожен; в то же время пираты убили 23 королевских моряка. К сожалению, «Фалкон» и «Дрейк» имели слишком большое водоизмещение, и командиры боялись посадить их на мель; поэтому в итоге они прекратили сражение и ушли назад в Порт-Ройял.
Баннистер отремонтировал «Сент-Николас», тогда как разбитый «Голден флис» пришлось сжечь. Но тут между англичанами и французскими пиратами вспыхнула ссора, поскольку на борту французского корабля «Фаворит» не могли поместиться все желающие. В конечном счете 80 французских пиратов разместились на «Сент-Николасе», на котором они 15 июля вышли в море.