Не всем нравилось «троцкистское прошлое» Бэрнхама. Поданным высокопоставленного сотрудника ЦРУ Майлза Коупланда (Miles Copeland), изначально существовала «какая-то возня по поводу флирта Бэрнхама с крайне левыми (не был ли он в ячейке, которая включала Сидни Хука, Ирвинга Кристола - Irving Kristol и Даниэла Белла - Daniel Bell), но всё нормализовалось, когда кто-то вспомнил о замечании, что если бы Джим был
Наряду с Ирвингом Брауном, Джоссельсоном, де Новиллем и Ласки (несмотря на его быстрое увольнение) Бэрнхам работал над тем, чтобы превратить Конгресс за свободу культуры в постоянно действующую организацию. Встретившись в конце ноября 1950 года в Брюсселе, руководящий комитет разработал структуру деятельности организации, основываясь на документе, составленном Ласки в июле. Среди присутствующих были Игнацио Силоне, Карло Шмид (лидер социалистов в парламенте Германии), еврейский социолог Евгений Когон, Хокон Ли (глава Норвежской рабочей партии), Джулиан Эймери (член Британского парламента), Йозеф Чапеки (польский писатель и художник), Дэвид Руссе, Ирвинг Браун и Николай Набоков.
В основном была принята структура, разработанная Ласки: назначен Международный комитет в составе 25 членов, а также пять почётных председателей. Руководство всей деятельностью взял на себя Исполнительный комитет, состоявший из пяти человек: исполнительного директора, редакционного директора по исследованиям, директора Парижского бюро и директора Берлинского бюро - которых, в свою очередь, контролировал генеральный секретарь. На схеме Ласки эта структура выглядела как зеркальное отражение аппарата Коминформа. «У них были такие же названия, как в коммунистической партии, - заметил один историк. - ЦРУ создавало эти культурные фонды в качестве теневых организаций коммунистической партии, включая секретность, лежащую в корне всего» [184]. Николай Набоков однажды шутливо отозвался о руководящем органе Конгресса как о «нашем Политбюро».
Также на ноябрьском заседании обсуждался доклад Артура Кёстлера «Первоочередные задачи переходного периода», где он рассказал о «технических заданиях», которые необходимо выполнить в продолжение деятельности Берлинской конференции. В разделе «Политическая кампания на Западе» Кёстлер, который неоднократно подвергался оскорблениям со стороны нейтралистов на Берлинской конференции, писал: «Наша цель состоит в том, чтобы привлечь на нашу сторону тех, кто ещё колеблется, разрушить влияние Жолио-Кюри, с одной стороны, и культурных нейтралистов из круга «Ле Тан Модерн» (Les Temps Modernes) - с другой» [185].
Оспаривание интеллектуальной основы нейтралитета было одной из главных целей американской политики времён холодной войны, и теперь оно предлагалось в качестве официальной точки зрения Конгресса. Представитель ЦРУ Дональд Джеймсон объяснял: «Существовало особое беспокойство по поводу тех, кто говорил: «Ну, Восток - это Восток, Запад - это Запад, и к чёрту вас обоих». Мы старались переместить их хотя бы чуть-чуть к западному пониманию положения вещей. Многие считали, что нейтралитет... был позицией, скомпрометировавшей себя. Некоторые надеялись, что число сторонников этой позиции будет уменьшаться. Но, с другой стороны, я думаю, существовало общее понимание того, что нельзя было нападать на приверженца нейтралитета и говорить ему: «Ты плохой человек, ты совсем как комми», потому что это могло их подтолкнуть влево, что, конечно же, было нежелательным. Но, разумеется, нейтралисты являлись главной целью» [186].