На первых порах Конгресс воспринимался с почти всеобщим подозрением. Активисты, поддерживающие его, убеждали себя в том, что эти подозрения являлись просто порождениями антиамериканских настроений, которые были в моде в то время; те, кто оказался неспособен на это, просто подавляли свои подозрения. Однако недоброжелатели использовали любую возможность для того, чтобы подвергнуть сомнению легитимность Конгресса в качестве свободной и независимой организации. То, что он смог пережить эти нападки, является признаком отчаянного упорства тех, кто (как внутри, так и снаружи) верил в его предназначение. Когда Жорж Альтман, редактор «Фран-Тирёр», и Франсуа Бонди прибыли в Рим в конце 1950 года для организации итальянского филиала, их постоянно спрашивали: «Кто платит за всё это?», «Под «свободой» вы имеете в виду американский капитализм?». Наблюдатели от коммунистов, казалось, присутствовали на большинстве встреч, и многие итальянские интеллектуалы явно были подвержены «тоталитарному соблазну». А такие, как Альберто Моравиа (Alberto Moravia), по сообщениям, были больше обеспокоены неофашизмом, чем коммунизмом. В своём отчёте Джоссельсону Бонди и Альтман подчёркивали провинциальность и антиамериканские настроения итальянских интеллектуалов. В Италии для Конгресса существовали «большие возможности», но они могли вызреть только в результате «медленной, непрямой, диверсифицированной и крайне осторожной работы» [219].
Итальянская Ассоциация за свободу культуры была организована в конце 1951 года под руководством Игнацио Силоне и стала центром федерации, включавшей в себя около ста независимых культурных групп, которым Ассоциация направляла лекторов, книги, брошюры, фильмы и вместе с ними дух интернационализма. Она выпускала бюллетень «Либерта делла Культура» (Liberia della Cultura), а позже «Темпо Пресенте» (Tempo Presente) под редакцией Силоне и Никола Кьяромонте. Но итальянский филиал начал разваливаться сразу после учреждения. Набоков прибыл в Рим для того, чтобы проталкивать интересы Конгресса, однако, как Бонди и Альтман до него, обнаружил апатию интеллектуалов, слишком охотно ловящих «любопытные слухи» о Конгрессе. Жалуясь Ирвингу Брауну на «летаргию в духе Силоне в нашем итальянском подразделении», Набоков говорил, что нужны радикальные меры, чтобы влить кровь в итальянский «аппарат». «Силоне невидимо царствует на небесах и не даёт ребятам в офисе делать свою работу. Я написал ему два письма, послал телеграмму, чтобы попросить его отлучиться надень от своих летних каникул и встретиться со мной здесь, в Риме, но он так и не ответил. Я встречаюсь с десятками людей каждый день, большинство из них готовы вступить, работать, помогать (включая Моравиа), но все говорят, что пока Силоне является здесь единоличным хозяином, никто ничего не сможет сделать», - жаловался Набоков [220]. Обеспокоенный донкихотским, воинственным и надменным отношением Силоне к церкви, Набоков также обращался к Жаку Маритену и просил его написать «большое письмо властям Ватикана», чтобы объяснить, что Конгресс за свободу культуры и итальянская Ассоциация ведут «разную политику» [221].
Набоков также отправился в Лондон, чтобы поддержать британский филиал - Британское общество за свободу культуры (British Society for Cultural Freedom), основанное в январе 1950 года при Обществе писателей в Уайтхолл-Корт. Встретившись с Т.С. Элиотом, Исайей Берлином, лордом Дэвидом Сесилом (David Cecil), главами Британского совета, представителями Третьей программы Би-би-си и Ричардом Кроссманом, который теперь был генеральным секретарём лейбористской партии, Набоков смог доложить в Париж, что у Конгресса есть могущественные союзники в Англии. Отдельно он сказал Бэрнхаму, что «многие британские интеллектуалы считают наш Конгресс полуподпольной американской организацией, контролируемой вами... я полагаю, наши постоянные усилия должны быть направлены на то, чтобы доказать европейским интеллектуалам, что Конгресс за свободу культуры не является агентством американских спецслужб» [222]. Используя язык, к которому обычно прибегали «осведомлённые» сотрудники разведывательных служб, Набоков просил Бэрнхама сообщить «нашим друзьям в Америке фундаментальный парадокс местной ситуации: у нас, возможно, осталось мало времени, но мы должны работать, как будто у нас есть всё время на свете. Процесс трансформации операции «Конгресс» в широкий и мощный фронт противостояния тоталитаризму займёт много времени и, я боюсь, много денег» [223].
7. «Сладости»