В Ленинграде «устроиться» оказалось невозможно — отказал в поддержке Н. С. Тихонов, влиятельный член Ленинградской писательской организации. Жилья нет, и Мандельштамы живут врозь, он — у брата (в его квартире, на 8-й линии Васильевского острова, вскоре было написано стихотворение «Я вернулся в мой город, знакомый до слез...»), жена — у своей сестры, воспитательницы детей в одной из ленинградских семей. Состоялся переезд в Москву, но и здесь жизнь остается скитальческой: по квартирам родственников и знакомых, часто — врозь с женой. Жить было не на что. По ходатайству Бухарина Мандельштаму (как и Ахматовой) Совнарком назначает пенсию — «за заслуги в русской литературе»; ее, впрочем, хватало только на оплату жилья. В конце 1931 года поэта кое-как устраивают с жильем — вновь в Доме Герцена, в маленькой комнате писательского общежития. Между тем поток стихов не слабел, и удалось сделать несколько публикаций в журналах: Мандельштам заявлял о себе как поэт действующий, как поэт с новым голосом.
В 1932 году обстановка неблагополучия вокруг Мандельштама еще более сгущается. То был год, когда Мандельштам близко сошелся с молодыми биологами, работавшими в Зоологическом музее, знакомыми Б. С. Кузина, неоламаркистами. Влиянию общения с ними обязаны лучшие страницы «Путешествия в Армению» и стихотворение «Ламарк» — шедевр этого года. В середине 1932 года Кузина арестовывают по одному из мифических обвинений, которые тогда применялись. Однако времена были, по выражению Ахматовой, «еще вегетарианские», и после хлопот и заступничества (Мандельштам обращался, в частности, к влиятельной М. С. Шагинян) Кузина освободили. Тогда в руках поэта была довольно крупная сумма денег, полученная от издательства за подготовленное, но не вышедшее в свет двухтомное собрание сочинений. Большая часть денег была внесена за пай в кооперативной пристройке к дому на ул. Фурманова, здесь Мандельштамы в конце 1933 года получили двухкомнатную квартиру, «воспетую» в стихах того же времени; на остальные поехали в Крым, взявши с собой Кузина, нуждавшегося в передышке после тюрьмы. Вдова А. С. Грина пригласила их к себе. В Старом Крыму они видели картины ужасающего голода среди крестьян, данью сочувствия стало «контрреволюционное» стихотворение «Холодная весна. Бесхлебный робкий Крым...». В стране установился один из самых жестоких в истории тиранических режимов. Мандельштам, с 1931 года готовившийся говорить «за всех» («Отрывки уничтоженных стихов»), пишет «Мы живем, под собою не чуя страны...» и, читая эти стихи знакомым, предает огласке. Тогда же в каблук туфли он прячет лезвие безопасной бритвы — оно будет извлечено в следственной тюрьме, вены будут перерезаны, но уйти из жизни помешают бдительные тюремщики. Об этом времени Ахматова писала: «...тень неблагополучия и обреченности лежала на этом доме. Мы шли по Пречистенке (февраль 1934 года), о чем говорили, не помню. Свернули на Гоголевский бульвар, и Осип сказал: «Я к смерти готов». Вот уже двадцать восемь лет я вспоминаю эту минуту, когда проезжаю мимо этого места... К этому времени Мандельштам внешне очень изменился: отяжелел, поседел, стал плохо дышать — производил впечатление старика (ему было 42 года), но глаза по-прежнему сверкали. Стихи становились все лучше, проза тоже... Я очень запомнила один из наших тогдашних разговоров о поэзии. О. Э., который очень болезненно переносил то, что сейчас называют культом личности, сказал мне: «Стихи сейчас должны быть гражданскими» — и прочел «Мы живем, под собою не чуя страны...». Примерно тогда же возникла его теория «знакомства слов». Много позже он утверждал, что стихи пишутся только как результат сильных потрясений, как радостных, так и трагических. О своих стихах, где он хвалит Сталина («Мне хочется сказать не Сталин — Джугашвили», 1937), он сказал мне: «Я теперь понимаю, что это была болезнь».