По воскресеньям, когда Сахаровы всей семьей отправлялись на природу — девочки и их мама собирали лесные ягоды, а папа просто гулял по лесу, думая о своем — один из «секретарей» все время держал его в поле зрения. Дети тоже заметили различие «секретарей». Один был мягче, охотно играл и разговаривал с детьми, другой — молодой — более холодный и формальный.
Помимо «секретарей» было много признаков постоянного — и нескрываемого — присутствия в их доме чужих глаз и ушей. Как-то раз Сахаров, подходя к своему дому на Объекте, увидел, как из него вышел незнакомый человек и спокойно стал удаляться; Сахаров его окликнул — тот не обратил внимания. Или в московской квартире как-то раз они обнаружили — на видном месте — окурок. Считалось, что коллеги «секретарей» проверяют свое оборудование.
Особенно тяжело это присутствие чужих воспринимала жена Сахарова, Клавдия Алексеевна, жизнь которой в основном ограничивалась домашними стенами, — после рождения первого ребенка она больше никогда не работала.
Кажется удивительным, что в столь плотно охраняемом состоянии, занятые столь государственным делом, физики могли проявлять свободомыслие и что советская власть позволяла им это.
Одна из причин — в том, что власть слишком нуждалась в их свободной мысли в профессиональной сфере. Другая — что физики почти поголовно вполне были согласны с тем, что они считали сущностью социализма, и потому позволяли себе не соглашаться с «частными» ошибками. И позволяли себе говорить о своих несогласиях даже в сталинское время.
Вскоре после того как Слойка стала признанной темой фиановской группы, представитель Берии в ФИАНе, генерал ГБ, пригласил к себе Сахарова и предложил ему вступить в партию. Сахаров отказался, сказав, что сделает все, что в его силах, для успеха дела, оставаясь беспартийным:
На вопрос генерала он пояснил, что неправильным считает аресты невиновных и раскулачивание. Генерал заявил, что ошибки были, но они партией исправлены, однако на этом оставил в покое молодого физика, подающего большие надежды.
Спустя два года, уже на Объекте и уже в качестве «руководящего научного кадра», Сахаров опять свободно сказал что думает. На Объект прибыла «сверху» комиссия для проверки политической сознательности, и его спросили, как он относится к генетике (разгромленной лысенковцами при благословении Сталина). Сахаров ответил, что считает генетическую теорию наследственности правильной: «Члены комиссии переглянулись, но ничего не сказали. Никаких оргвыводов в отношении меня не последовало».