В начале 1954 года Конгресс открыл координационный штаб фестиваля поблизости с дворцом графа Печчи-Бланта (Pecci-Blunt), близкого друга Набокова и, несмотря на свой дворянский титул, американского гражданина. Казначей Пьер Боломи (Pierre Bolomey) организовал кредитную линию насчёт Конгресса в «Чейз Нэшнл Банк» (Chase National Bank), через который ЦРУ и переводило деньги. Печчи-Блант внёс личный вклад в размере 1300 долларов США в «копилку» фестиваля. Ещё 10 тысяч долларов США было направлено через Европейский центр культуры Дени де Ружмона (Centre Europeen de la Culture), который, в свою очередь, получал деньги от Фонда Фарфилда. Предприятие де Ружмона имело наибольшие расходы во всей программе. Была оплачена поездка Леонтины Прайс, а также авиабилеты в оба конца, отправленные Аарону Копланду, Майклу Типпетту, Иосифу Фуксу и Бену Веберу.
К марту 1954 года Набоков был готов объявить список выступающих на фестивале. Сконцентрированное на атональном, додекафоническом строе композиции, эстетическое направление этого мероприятия отсылало к прогрессивному авангарду Альбана Берга, Эллиотта Картера, Луиджи Даллапиккола и Луиджи Ноно. Среди «новых» композиторов были Пётр Расин Фрикер, Лу Харрисон и Марио Перагалло, чьи работы в значительной степени находились под влиянием двенадцатитоновой музыкальной техники. В целом они были хорошо приняты. Журнал «Мьюзикал Америка» (Musical America) отмечал, что «большинство композиторов и критиков, входящих в консультативные и исполнительные комитеты, ответственные за концерты... не были знакомы в прошлом с додекафоническими принципами построения композиции или их адептами. По этой причине программы, которые они предлагали, не только удивительны, но и достойны поощрения» [506]. Обратился к двенадцатитоновой музыке и Стравинский, чьё присутствие в Риме стало основным сигналом для принятия «традиционным сериализмом» модернистских тенденций. Для Набокова это стало чётким посылом, побудившим его предаться продвижению музыки, заявляющей о себе как о музыке, уходящей от принципов природной иерархии и освобождённой от старых законов внутренней логики. Позже критики будут задаваться вопросом о том, почему сериализм отказался от своего обещания освобождения и завёл музыку в модернистский тупик. Музыка оказалась трудной для восприятия и, скованная деспотическими формулами, стала понятной лишь узкой аудитории. «К пронзительному звуку и глухим ударам, - пишет Сьюзен Зонтаг (Susan Sontag), - мы относились почтительно: мы знали, что должны будем оценивать уродливую музыку, мы с благоговением слушали Тоха, Кренека, Хиндемита, Веберна, Шёнберга - всех их (у нас был огромный аппетит и сильные желудки)» [507]. Но даже самые почтительные из тех, кто участвовал в работе фестиваля Конгресса в Риме, не выдержали и устроили свист и крики, когда один спектакль превратился в «частный монолог». А на премьере двенадцатитоновой оперы Ханса Вернера Хенце «Бульвар одиночества» (Boulevard Solitude) зрителям пришлось испытать чувства, близкие к тому, как если бы они проделали крёстный путь от начала до конца.
Возможно, ощущая вызов своему фирменному уровню сложности композиций, Пьер Булез (Pierre Boulez) написал Набокову яростное письмо, нашпигованное оскорблениями. Набоков, по его мнению, поощрял «фольклорную посредственность», взращиваемую мелкими чиновниками, которые были одержимы числом двенадцать - «Совет двенадцати, Комитет двенадцати, Жюри двенадцати», - теми, кто ничего не понимал в творческом процессе. Булез продолжал обвинять Конгресс в манипулировании молодыми композиторами, предлагая крупные денежные призы (победителями стали Лу Харрисон, Гизельхер Клебе, Жан-Луи Мартине, Марио Перагалло, Владимир Фогель). Он считал, что было бы более честным просто выдать им денежные призы, а не городить шарады из «эффектных публичных жестов банкира из Цинциннати». Булез предложил, чтобы следующим мероприятием Конгресса стала конференция «Роль презервативов в XX веке». По его мнению, этот предмет обладает «лучшим вкусом» в отличие от предыдущих инициатив Конгресса [508]. Ошеломлённый Набоков написал в ответ, что надеется, письмо Булеза не будет найдено будущими потомками в нижнем ящике стола, так как оно «оскорбило как его ум, так и его взгляды». Не имея ни времени, ни сил заниматься этим вопросом, Набоков попросил Булеза впредь ему не писать.