Сразу после окончания партактива А.Я. Вышинский вызвал к себе резидента ГРУ и поставил перед ним вопрос, как он выразился, «неофициально», о доверии Полякову. Нужно отметить, что резидент Скляров как мог защищал своего сотрудника. Он сослался, что это выступление не вызвано его настроением, объяснял все это молодостью, незнанием вопроса и неумением правильно излагать свои мысли. Вышинский согласился с резидентом, но решил побеседовать с Поляковым. На следующий день он вызвал его к себе и долго растолковывал ему мотивы необходимости постановки вопроса о разоружении на одну треть. Поляков был согласен во всем с Вышинским и в объяснительной записке написал, что расценивает свое выступление как неуместное и неподготовленное и благодарен товарищам, которые помогли разобраться в этом вопросе.
23 октября 1953 г. резидент ГРУ в Нью-Йорке сообщил в центр, что 17 октября с. г. Поляков на партактиве в представительстве выступил с враждебной по форме критикой позиции в вопросе разоружения. Но, осознав свою ошибку, признал свое выступление неуместным. Руководство ГРУ никаких выводов по данному факту не предприняло. Полякову повезло.
Летом 1954 г. Поляков уехал в отпуск в СССР, где прошел дополнительную подготовку по плану, которым предусматривалось изучение задач и объема работы офицера спецразведки, работающего с легальных позиций, ознакомление с задачами и работой спецразведки, а также с конкретными задачами группы по обеспечению нелегальной разведки нью-йоркской резидентуры ГРУ. Кроме этого, были рассмотрены вопросы по связи с нелегалами «Ларсеном», «Мейси», «Хильдой» и агентом «Мурабом». В самый последний момент перед выездом в США было произведено укрупнение резидентур, и в прошлом резидентура по нелегальной разведке влилась в качестве группы в состав Нью-Йоркой резидентуры ГРУ. Поляков был направлен на должность заместителя резидента ГРУ – руководителя группы по нелегальной разведке. Должность прикрытия поднялась – он становился начальником секретариата представителя СССР в Военно-штабном комитете (ВШК) ООН.
К месту службы Поляков убыл 11 октября 1954 г. Нужно отметить, что в 1955—1956 гг. режим слежки как за Поляковым, так и другими работниками резидентуры в Нью-Йорке резко усилился. В этих тяжелых условиях значительным подспорьем в «отрыве» от слежки являлось хорошее знание работы американских контрразведывательных органов (КРО) и знание города, в связи с чем удавалось проводить все операции по связи в отсутствие наблюдения контрразведки.
С появлением в распоряжении Полякова автомашины слежка стала осуществляться одной-двумя бригадами КРО, следовавших на автомашинах. Вскоре ему стало ясно, что проверяться и «отрываться» от слежки на машине гораздо труднее, чем без нее. Поэтому при выходе на агентурные мероприятия он машиной старался не пользоваться или же, выезжая на ней, затем оставлял ее в каком-нибудь месте и уже окончательную проверку на слежку производил при следовании пешком.
Чувствуя свое бессилие, агенты ФБР стали предпринимать меры по выживанию его из США. Так, они не раз пытались столкнуть его автомобиль своими машинами в глубокий бетонированный кювет. Потом к действиям ФБР присоединилась полиция. Хотя Поляков и ездил на машине аккуратно, правил дорожного движения не нарушал и тем не менее стал постоянно подвергаться нападкам со стороны полиции. Его часто останавливали и требовали для проверки его документы, долго выясняли у своего начальства, как поступить с ним (ведь у него был дипломатический паспорт). Оставляя свою машину на отведенном для стоянки месте у представительства СССР, он ежедневно находил на стекле приклеенные квитанции о штрафе за якобы неправильно произведенную парковку. Поляков вынужден был обратиться к офицеру безопасности при ВШК ООН (сотруднику ФБР), после чего положение изменилось, акции полиции на какое-то время прекратились.
Нужно отметить, что в период пребывания Полякова в первой командировке в США к нему не раз подходили на дипломатических приемах и мероприятиях незнакомые американцы и ни с того ни с сего вдруг начинали разговор об американском образе жизни и его превосходстве над советским, затрагивая и другие стороны. Особенно частым это стало после рождения в Нью-Йорке в 1953 г. сына Александра. В них упоминалось, что сын этот по рождению американец. Чувствуя направленность таких разговоров, Поляков их обычно прекращал. Однажды, уже после рождения в 1955 г. сына Петра, один неизвестный посетитель на приеме в американском представительстве в ВШК ООН подошел к Полякову и заявил ему прямо, что, мол, теперь он без труда сам сможет получить американское гражданство. Тогда советский полковник в грубой форме оборвал этот разговор и по окончании приема доложил обо всем своему резиденту. В ходе очередной встречи с секретарем американской делегации в ВШК ООН Поляков в категорической форме предупредил, что в случае повторения подобных обращений к нему со стороны кого-либо из американцев он вынужден будет реагировать на них по-другому. После этого подходы американцев к нему прекратились.