Флорист Белого дома Ронн Пейн говорит, что в период между выборами и инаугурацией президента Рейгана каждый раз, когда подходил к частным жилым помещениям семьи, он слышал, как, по крайней мере, один из членов большой семьи Картеров плакал. Розалин вспоминала, какими мучительными были эти недели. «Вы проигрываете выборы 4 ноября, а затем просто готовитесь отправиться домой». Возможно, из-за грандиозности поражения — Картер получил всего 41 процент голосов — принять его было особенно тяжело. На следующее утро после объявления результатов выборов директор по коммуникациям в администрации Картера Джерри Рафшун отправился навестить президента, который сидел со слезами на глазах в Овальном кабинете. «Сорок один миллион шестьсот тысяч человек меня не любят», — произнес Картер. Его лучший друг и главный советник Розалин признавалась, что «испытывала горечь за нас обоих». Даже спустя годы, в 1999 году, в интервью газете New York Times Розалин сказала: «Самое большое сожаление в моей жизни — это поражение Джимми».
И вот пришло время организовать для Нэнси первую экскурсию по резиденции. Розалин, как и полагается, провела ее по второму и третьему этажам, и, когда они прогуливались по Желтому овальному кабинету, рассказала о том, как старалась продемонстрировать работы американских живописцев. Однако Розалин не испытывала энтузиазма и резко сократила маршрут, не показав Нэнси президентскую спальню и комнату для учебных занятий. «Холодность в ее манере соответствовала холоду в помещении, — вспоминала Нэнси. (Из-за энергетического кризиса Джимми Картер настаивал на том, чтобы в Белом доме поддерживалась температура в 65 градусов по Фаренгейту (18 °C) в течение дня, а ночью она опускалась до 55 градусов (13 °C). Сотрудники Белого дома часто печатали в перчатках, а горничная даже купила теплое нижнее белье для Розалин, когда ходила покупать для себя.)
Напряжение во время инаугурации президента Рейгана усилилось в результате кризиса, связанного с заложниками в Иране. Иранцы, наконец, решили освободить заложников, но они держали самолеты с освобожденными американцами в ожидании на взлетной полосе, не разрешая пролет через воздушное пространство Ирана до тех пор, пока Рональд Рейган в полдень не станет президентом. Розалин была в ярости и увидела в этом «прощальный» пинок в адрес своего мужа. После традиционного кофе с новым президентом и его женой в Голубом зале Картеры и Рейганы отправились в Капитолий на церемонию присяги. Барбара Буш, жена нового вице-президента, вспоминает, как они задержались, поджидая Розалин, пока та прощалась с персоналом резиденции. По ощущениям Барбары Буш и Нэнси Рейган, их заставили ждать около сорока пяти минут. «Мы не будем так тянуть резину», — прошептала тогда Барбара Нэнси. По словам Барбары, когда ей пришлось покидать Белый дом двенадцать лет спустя, ей стало понятно поведение Розалин.
По словам Розалин, она чувствовала себя «очень самодовольной» от осознания того, что в непринужденной беседе поговорила с Нэнси Рейган о пятидесяти двух американских заложниках, которые возвращаются домой после того, как их насильно удерживали в Иране более года. Но она знала, что большинство людей сочтут их освобождение заслугой Рейгана. Уолтер Мондейл, вице-президент в администрации Картера, сказал: «Рейганы не очень охотно раздавали комплименты другим. Это не было их сильной стороной». Нэнси вспоминала, как неловко было ехать в Капитолий с Розалин и насколько она была благодарна за то, что лидер меньшинства в Палате представителей Джон Роудс сопровождал их и было с кем поговорить. «Розалин просто смотрела в окно и молчала. Я не знала,