В самом начале Второй мировой войны композитор покинул Европу и перебрался в США. Об этой стране он напишет: «В то время как в России и вообще в Европе наблюдается упадок хорового дела, в Америке оно процветает. Не только в больших центрах, как Нью-Йорк, Бостон, Чикаго или Филадельфия, где имеется по несколько хоровых обществ (Scholas cantorum), школьных, церковных и др., в каждом, даже маленьком, городишке обязательно вы найдете клуб и при нём хор из членов клуба, любителей. В каждом университете есть хоровой класс, который охотно, с любовью посещается молодёжью. Руководитель хора часто — самый популярный человек в университете».
В Америке Гречанинов стал востребованным композитором. «Детройтский музыкальный мир тепло меня встретил, — вспоминал он. — Бесконечно меня чествовали в различных обществах, кружках, в Bohemian club. Талантливый дирижер симфонических концертов, милейший мистер Гиони, с которым мы подружились, исполнил мои вариации из Пятой симфонии. Толпа в 5000 слушателей устроила мне грандиозную овацию».
В августе 1940 года Гречанинов переехал в Нью-Йорк и поселился на одной из тихих улиц близ Центрального парка. Однако положение его в целом оставалось незавидным. Он не владел английским языком, что не позволяло ему брать учеников. Усиливалась глухота. Вдобавок, когда в октябре 1940-го ему исполнилось 76 лет, он почти полностью потерял зрение. Работать и сочинять музыку стало невозможно. К счастью, один американский врач, страстный почитатель хора Жарова, узнав о бедственном положении композитора, провел уникальную операцию — зрение частично восстановилось, позволив вернуться к работе.
Во время войны 9 апреля 1942 года в Нью-Йоркской филармонии под управлением британского дирижёра Джона Барбиролли оркестр исполнил его Четвёртую симфонию, а 25 февраля 1944 года в Бостоне под управлением Сергея Кусевицкого прозвучали «Вселенские мессы», где композитор удачно соединил «попевки православной церкви и григорианские с текстом католической литургии». Затем последовало исполнение отдельных духовных сочинений в некоторых американских храмах. Всё это позволило Гречанинову стать в Америке одной из центральных фигур Русского зарубежья. Среди его друзей и почитателей дирижер В. Р. Бакалейников, композиторы А. С. Лурье и Н. В. Лопатников, скульптор Г. В. Дерюжинский, певицы Н. И. Кошиц и М. М. Куренко, пианистка И. А. Венгерова и др.
Гречанинов сочинил симфоническую поэму «К Победе!» и в одном из своих писем на родину, адресованном советскому композитору Р. М. Глиэру, он заметил: «Я верю глубоко, что уже близок час нашего величайшего торжества». Неудивительно, что 25 октября 1944 года, в день 80-летия Гречанинова, в Большом зале Московской государственной консерватории оркестр под управлением дирижера А. И. Орлова исполнил его Четвертую симфонию и фрагменты из оперы «Добрыня Никитич». А на Всесоюзном радио вышло несколько передач, посвященных его творчеству.
Американцы тоже полюбили Гречанинова и его музыку. Его юбилеи превращались в настоящие музыкальные праздники. Так, в день 85-летия композитора в концертных залах и по радио звучали его произведения. Газеты и журналы помещали его фотографии и хвалебные статьи о нем. Иногда в них упоминалось и о сотрудничестве русского композитора с Донским хором.
Кроме того, Гречанинов продолжал дружить с художниками М. В. Добужинским и Б. Ф. Шаляпиным, учеником Репина М. А. Вербовым, Л. А. Михельсоном и М. Л. Кацом, писавшими его портреты. Все эти люди входили в круг близких знакомых и Сергея Жарова. Тесно общался Гречанинов и с художником-авангардистом С. Ю. Судейкиным, в 1946 году ушедшим из жизни.
Гречанинов внимательно, насколько это было возможно в Америке, следил за музыкальной жизнью в СССР. С восхищением относился к произведениям трижды лауреата Сталинской премии композитора Д. Б. Кабалевского; лауреата четырёх Сталинских премий А. И. Хачатуряна; к песням и хорам А. В. Александрова. А «первым во всем мире из современных композиторов, самым интересным, оригинальным, новым, захватывающим богатством красок» считал советского композитора С. С. Прокофьева.
В январе 1956 года Гречанинова не стало. Сергей Жаров очень тяжело переживал уход старшего товарища. На панихиде в Соборном храме Воскресения Христова в Нью-Йорке он присутствовать не смог, так как был на гастролях в Европе. В Париже панихиду по усопшему отслужили в соборе Святого Александра Невского на улице Дарю. Почти все русскоязычные газеты Франции поместили некрологи о композиторе, где называли Александра Тихоновича Гречанинова «гением хорового пения».
Композитор Константин Шведов