Но приверженность Пальме международным делам такого рода часто доставляла беспокойство сверхдержавам. Он потревожил СССР, когда в апреле 1975 года назвал чехословацкий марионеточный режим «диктаторским зверством» и когда в декабре 1979 года осудил вторжение СССР в Афганистан. Но и противоположную сторону он раздражал: США дважды разрывали дипломатические отношения со Швецией из-за действий Пальме. В феврале 1968 года причиной послужило то, что он принял участие в факельной процессии бок о бок с северокорейским послом в Москве. Во второй раз разрыв произошел, когда Пальме раскритиковал бомбардировку Ханоя накануне Рождества 1972 года, сравнив агрессию США с худшими бойнями ХХ столетия.
Политическое мировоззрение Пальме и, следовательно, шведскую идеологию называли «третьим путем», путем, пролегающим между капиталистическим Западом и коммунистическим Востоком. Пальме возглавил комиссию, получившую затем его имя: в ее составе он, вместе с другими политиками мирового уровня, добивался разоружения и более безопасной обстановки в мире. США проявили к этой программе очень умеренный интерес, поэтому она провалилась. Зато интерес, проявленный СССР, пробудил еще большее недоверие к Пальме в Швеции и за рубежом. Его стали считать орудием СССР.
В 1980–1982 годах Пальме был послом мира от ООН во время ирано-иракской войны. Ему не удалось добиться успеха. А потом стало известно, что он был вовлечен в сделки шведских производителей оружия, прежде всего «Бофорса», с Индией. Пальме посчитали лицемером. То он добивается разоружения, то поддерживает торговлю оружием, чтобы сохранить рабочие места!
Шведские критики Улофа Пальме полагали, что у страны нет ни времени, ни возможностей играть роль мировой совести и что премьер-министру следует сосредоточиться на внутренних проблемах. А в этом авторитет Пальме тоже пошатнулся. Ораторские способности Пальме и его искусная политическая игра нажили ему врагов и справа, и слева.
Но в первую очередь его недолюбливали не за политику. Из-за его принадлежности к высшему сословию друзья социал-демократы испытывали недоверие, а правые смотрели на него как на предателя классовых интересов. В самой его личности было что-то, возбуждающее раздражение. В дебатах он вел себя нетерпеливо и надменно отзывался о поверженных противниках. Его IQ 156 был ниже, чем IQ шведского киноактера Дольфа Лундгрена, 160, но выше, чем у любого другого политика в стране. Пальме относился к категории людей, которых считают гениальными. И он ни за что не упустил бы случая дать понять, что знает о собственной одаренности и превосходстве над противниками.
Он долго пользовался правами баловня в культурных кругах, его приглашали на премьеры как почетного гостя. Но после того как в 1976 году всемирно известный режиссер Ингмар Бергман был обвинен в сокрытии доходов от налогообложения и унизительным образом арестован во время репетиции в Королевском драматическом театре, популярность Пальме упала. Хотя с Бергмана в итоге обвинение сняли, шведам казалось, что государство несправедливо избрало его мишенью из-за его славы. Приглашения больше не сыпались на Пальме.
Были у него и могущественные враги в СМИ. Большинство газет в Швеции пользовались независимостью, получая финансирование не от социалистов. Помимо этого, Пальме умудрился обрести врага в лице самого влиятельного шведского журналиста. Ян Гийу, репортер социалистического журнала
Но Пальме разыграл свои карты лучше, чем президент Никсон. Он остался на посту, а вот Гийу и его коллега журналист Петер Блатт даже получили по году тюрьмы за шпионаж. Однако такого противника, как Гийу, лучше не задевать. Несколько лет спустя он напал на Пальме в связи с делом Гейера. Выяснилось, что шведские политики во главе с министром юстиции Гейером были частными клиентами проституток. Пальме едва ушел от критики: его помощники, представитель полиции Ханс Хольмер и пресс-секретарь Гейера Эббе Карлсон, приложили руку к официальным опровержениям, основанным на откровенной лжи.
Последней попыткой Гийу задеть Пальме стало так называемое гарвардское дело, в котором не нашлось виновника, но которое напрямую касалось морального облика премьера. Во время интервью по радио Гийу прямо спросил Пальме, заплатит ли он налоги со стипендии своего сына Иоакима, которой тот был обязан лекциям отца в Гарварде. Улоф, который обычно не лез за словом в карман, замялся и только потом бросился опровергать.