Однако полного счастья в семье Шиловских не было. Еще в октябре 1923 года Елена Сергеевна писала своей сестре Ольге Сергеевне Бокшанской, работавшей секретарем дирекции МХАТа и личным секретарем Владимира Ивановича Немировича-Данченко: «Ты знаешь, как я люблю Женей моих, что для меня значит мой малыш, но все-таки я чувствую, что такая тихая семейная жизнь не совсем по мне. Или вернее так, иногда на меня находит такое настроение, что я не знаю, что со мной делается. Ничего меня дома не интересует, мне хочется жизни, я не знаю, куда мне бежать, но хочется очень. При этом ты не думай, что это является следствием каких-нибудь неладов дома. Нет, у нас их не было за все время нашей жизни. Просто, я думаю, во мне просыпается мое прежнее „я“ с любовью к жизни, к шуму, к людям, к встречам и т. д. и т. д. Больше всего на свете я хотела бы, чтобы моя личная жизнь — малыш, Женя большой — все осталось так же при мне, а у меня кроме того было бы еще что-нибудь в жизни, вот так, как у тебя театр».
Те же настроения отразились и в письме сестре, написанном месяц спустя, в ноябре 1923 года: «Ты знаешь, я страшно люблю Женю большого, он удивительный человек, таких нет, малыш самое дорогое существо на свете, — мне хорошо, спокойно, уютно. Но Женя занят почти целый день, малыш с няней все время на воздухе, и я остаюсь одна со своими мыслями, выдумками, фантазиями, неистраченными силами. И я или (в плохом настроении) сажусь на диван и думаю, думаю без конца, или — когда солнце светит на улице и в моей душе — брожу одна по улицам».
В 1967 году Елена Сергеевна вспоминала, почему она хотела познакомиться с Булгаковым: «Я интересовалась им давно. С тех пор, как прочитала „Роковые яйца“ и „Белую гвардию“. Я почувствовала, что это совершенно особый писатель, хотя литература 20-х годов у нас была очень талантлива. Необычайный взлет был у русской литературы. И среди всех был Булгаков, причем среди этого большого созвездия он стоял как-то в стороне по своей необычности, необычности языка, взгляда, юмора: всего того, что, собственно, определяет писателя. Все это поразило меня… Я была просто женой генерал-лейтенанта Шиловского, прекрасного, благороднейшего человека. Это была, что называется, счастливая семья: муж, занимающий высокое положение, двое прекрасных сыновей. Вообще все было хорошо. Но когда я встретила Булгакова случайно в одном доме, я поняла, что это моя судьба, несмотря на все, несмотря на безумно трудную трагедию разрыва. Я пошла на все это, потому что без Булгакова для меня не было бы ни смысла жизни, ни оправдания ее». По утверждению Е. С. Булгаковой, ни она, ни Михаил Афанасьевич первоначально не хотели идти в гости на Масленицу 1929 года к художникам Моисеенко, но в конце концов оба пошли (Елена Сергеевна — во многом из-за ожидавшегося присутствия Булгакова).
«В общем, мы встретились и были рядом. Это была быстрая, необычайно быстрая, во всяком случае с моей стороны, любовь на всю жизнь.
Потом наступили гораздо более трудные времена, когда мне было очень трудно уйти из дома именно из-за того, что муж был очень хорошим человеком, из-за того, что у нас была такая дружная семья. В первый раз я смалодушествовала и осталась, и я не видела Булгакова двадцать месяцев, давши слово, что не приму ни одного письма, не подойду ни разу к телефону, не выйду одна на улицу. Но, очевидно, все-таки это была судьба. Потому что когда я первый раз вышла на улицу, то встретила его, и первой фразой, которую он сказал, было: „Я не могу без тебя жить“. И я ответила: „И я тоже“. И мы решили соединиться, несмотря ни на что».
По воспоминаниям очевидцев, все это для Е. С. Шиловской происходило далеко не в идиллических обстоятельствах. На парижском издании романа «Белая гвардия» Булгаков сделал многозначительную надпись: «Справка. Крепостное право было уничтожено в… году. Москва, 5.II.31 г.», а полтора года спустя приписал: «Несчастье случилось 25.11.1931 года». М. А. Чимишкиан, дружившая с Булгаковым и Л. Е. Белозерской, передавала описание этого памятного дня со слов Любови Евгеньевны: «Тут такое было! Шиловский прибегал (на Б. Пироговскую. —