Дети Любы жили в Куйбышеве, Толя — с Ириной Сергеевной, Юля — с Ниной Петровной. Однажды, в жаркий день июня 1943 года (такой жаркий, что асфальт плавился под ногами, вспоминает Толя), она взяла сына, села с ним на пароход, добралась до Ставрополя и прошла пешком несколько километров до бывшего санатория в лесу, где теперь размещался Институт иностранных языков. Толю она оставила у своей преподавательницы, а сама поселилась в общежитии.
Но вскоре Любу арестовали. Сама она полагала, что ее оклеветал начальник службы безопасности Хрущева, обиженный пренебрежением, которое проявляли к нему они с Леонидом. Двое агентов НКВД отконвоировали ее на поезде в Москву и, конфисковав все наличные вещи, включая дорогие часы — подарок мужа, заперли в камере с двумя другими женщинами, в которых она сразу определила «подсадных уток». Поначалу она думала, что произошла какая-то ошибка — однако поняла, что все гораздо серьезнее, после первого же допроса у Виктора Абакумова, заместителя главы НКВД и главы СМЕРШа 42.
Абакумов умел добывать нужные признания. Позднее Люба узнала, что одному из родственников Веры Чернецкой он на допросе выбил зуб. Однако с Любой высокий, широкоплечий, черноволосый Абакумов держался дружелюбно, почти галантно. Он ни в чем ее не обвинял. «Не говорил, что я шпионка, — рассказывала Люба, — сказал только, что, по его сведениям, я ходила в театр с французским военным атташе и он передал мне какую-то бумагу». Люба отказалась давать показания, «потому что и говорить-то было не о чем». «Может быть, вы просто не хотите говорить? — с улыбкой спросил Абакумов. — Может быть, могли бы кое-что рассказать, если бы захотели?» Затем пригрозил, что переведет ее в Лефортовскую тюрьму. «Там не так, как у нас, — говорил он, — это страшное место. Там полно крыс, и вы там скоро без зубов останетесь». Но Люба отказалась признаваться в преступлениях, в которых ее даже не обвиняли. На следующих допросах другой следователь кричал на нее и угрожал избить, если она не признается. Восемь месяцев ей почти не давали спать (известная лубянская технология «конвейера»), два месяца продержали в одиночной камере в Бутырке, а затем приговорили к пяти годам лагерей.
В мордовском лагере Люба работала на лесоповале, пока не попала в больницу. Выздоровев, она осталась в лагерной больнице в качестве медсестры и санитарки и трудилась там, пока снова не заболела. Болезнь была тяжелейшей: Люба потеряла около двадцати восьми килограммов, перенесла преждевременный климакс и почти ослепла на один глаз. Однажды, лежа в бреду на больничной кровати, она увидела, что летит верхом на лебеде, и услышала голос Никиты Хрущева: «Освободите Любу!» Позже ей пришла анонимная посылка с парой сапог, телогрейкой, ушанкой и другой необходимой одеждой. Люба полагала, что посылку прислала Ирина Сергеевна — она и раньше присылала ей кое-какие вещи, а от Никиты Сергеевича и Нины Петровны Люба так ничего и не получила.
Выйдя на свободу в 1948 году, Люба еще пять лет прожила в ссылке в Казахстане, где нашла себе работу в геологической экспедиции и постоянно отказывалась от предложений о сотрудничестве с НКВД. В Караганде она оставалась, пока Сталина не сменил Хрущев — отчасти из-за того, что произошло, когда в 1954 году она приехала в Москву. Хрущев тогда не позволил ей увидеться с четырнадцатилетней Юлией, которую Хрущевы удочерили и которая считала Никиту Сергеевича и Нину Петровну своими родителями. Однако Нина Петровна, по-видимому, не желала лишать внучку родной матери и позже, когда Юля сдала вступительные экзамены в университет, открыла ей правду 43. В 1956 году, выбрав момент, когда Хрущева не было в Москве, Нина Петровна устроила Любе свидание с Юлей. «Да ты — вылитый Леня!» — воскликнула Люба. Нина Петровна уговаривала ее остаться, но Люба отказалась, чувствуя, что она здесь лишняя. Позже, уже в отставке, Хрущев несколько раз разговаривал с невесткой по телефону, но никогда не заговаривал о ней с родными и всего раз встретился с ней.
Возможно, Хрущев боялся потерять Юлю. Люба подозревала также, что он верил в обвинения НКВД. «Должно быть, ему много плохого наговорили о ней», — предполагала Юлия. Она добавляла также, что ни Никита Сергеевич, ни Нина Петровна не обнимали ее так горячо, как мать при встрече в 1956 году. Собственно говоря, они вообще ее не обнимали. «Такой уж человек была Нина Петровна. Сама холодная по натуре, и меня не научила проявлять любовь и доброту».