Так погребались люди именитые, но для большинства бедных и безродных тоже надо было устраивать кладбища, где бы их погребали за умеренную плату или даже вовсе бесплатно. В XVI веке тела умерших насильственной смертью или скоропостижно скончавшихся вне дома, а также безродных тюремных узников, странников и убогих клали в часовнях в людных местах для опознания — в надежде, что их, может быть, кто-нибудь узнает и тем самым даст властям ключ к отысканию виновника смерти (если она последовала от насилия) или к отысканию родственников покойного. В Москве такие часовни располагались на крестцах Китай-города: Никольском, Ильинском и Варварском. Но в летнее время держать умерших более 3–4 дней было нельзя, а их иногда набиралось столько, что в часовнях не хватало места. Поэтому со временем в санитарно-гигиенических целях в окрестностях Москвы стали устраивать особые помещения барачного типа, „оборудованные ямами со льдом“, для таких покойников и кладбища для погребения их. Так образовались Божьи (или Убогие) дома, которые, как и сами умершие, предоставлялись воле Божьей или благотворительности православных людей.
Обычно Божьи дома устраивались при окраинных монастырях и церквах, где к весне скапливалось большое количество покойников, так как зимой они почти не погребались. Православный люд стекался сюда в основном в весенние и летние праздники (на Пасху, Троицу и в другие), а осенью — под Покров и приносил свои посильные пожертвования на погребение „бездомных“, на совершение общей панихиды и на поминовение умерших.
Так возникло кладбище Крестовоздвиженского убогого дома, окруженное владениями князя К.О. Щербатова, окольничего И.Ф. Пушкина, стольника И. Волынского и частью государевой земли. В то время местность эта была мало заселена и состояла по большей части из огородов землевладельцев и отдельных дворов, а речка Неглинная, с крытыми берегами и запрудами, в этом месте протекала открыто. Сначала это кладбище было незначительным по площади, но потом быстро расширилось. Другой Божий дом с собственным кладбищем располагался за Земляным городом и принадлежал Покровскому монастырю. Пашенные и кладбищенские земли монастыря соседствовали с землей митрополита Крутицкого, и иногда между владельцами возникали недоразумения из-за земель.
Со временем и на кладбищах при Божьих домах не стало хватать места, так как 10 октября 1713 года Петр I издал указ, согласно которому царю не понравилось, что в Москве и в других городах, при церквах и монастырях надгробные камни лежат сверх земли, так что препятствуют в хождении при церковных шествиях». Поэтому другим указом, от 12 апреля 1722 года, было приказано «надгробные камни при церквах и монастырях опускать вровень с землею, надписи на камнях делать сверху; которые же камни неудобно так разместить, употреблять их в строение церковное». Через полтора года новый указ (от 10 октября 1723 года) предписывал: «В Москве и других городах мертвых человеческих телес, кроме знатных персон, внутри городов не погребать, а погребать их при монастырях и при приходских церквах вне городов».
В конце октября того же года Святейший синод, во исполнение царского указа и чтобы никто сомнения не имел, постановил: «Объявить, что от погребений внутри градов приключается воздуху повреждение, отчего бывают иногда и тяжкие болезни и прочие тому подобные злые припадки, человеческому здравию вредные». Указ Петра I и распоряжение Святейшего синода были вызваны быстрым ростом народонаселения Москвы и скученностью в городе построек. Например, к 1726 году незначительный приход при Крестовоздвиженской церкви сделался довольно значительным и имел уже 76 дворов. И власти Москвы распорядились «перенести Убогий дом от Воздвиженской церкви в поле — на Государеву землю», где и образовалось новое божедомское кладбище.
Однако указ Петра I выполнялся очень слабо, и 2 июля 1748 года последовал новый указ, которым императрица Елизавета Петровна, жившая тогда в Москве, запретила хоронить умерших при городских церквах на всем пространстве между Успенским собором и ее дворцом, находившимся на Яузе (близ Немецкой слободы). Могилы, имевшиеся около тех церквей, приказано было сровнять с землей, а для погребения умерших в приходах тех церквей, при которых запрещено было хоронить, императрица повелела отвести вне Москвы землю для кладбища и выстроить там церковь. Для устройства этого кладбища был составлен комитет, в который вошли игумен Сретенского монастыря Лаврентий, архитектор князь Ухтомский и другие лица, а место для кладбища выбрали за Мещанской слободой, близ Марьиной рощи. Так было учреждено кладбище, на котором в 1750 году выстроили деревянную церковь во имя святого Лазаря. Однако до устройства кладбищ разрешалось погребать и при некоторых церквах, например при церкви Знамения в Переяславской слободе, церкви святого Панкратия близ Сухаревой башни и некоторых других.