Строительство здания началось в 1813 г., закладка происходила в мае 1814 г., и уже в следующем году в одном из зданий происходили занятия. Главное здание не было отстроено, однако до 1823 г. популярный журнал того времени «Северный архив» приветствовал окончание строительства: «…как наружность, так и внутренность огромного Учебного заведения заключают в себе красивую, правильную, при том в новейшем вкусе Архитектуру с удобным расположением. На доме находится фронтон, с одного фасада в колоннаде, а с другого в пилястрах; в приличных местах в барельефе изображены учебные символы с надписями… Принадлежности сего заведения суть: обширное новое здание с хорошим садом. Внутри сего прекрасного строения находится великолепная зала для учебного Собрания, классные покои, также для жительства учеников и учителей комнаты удобно расположенные…»
Автор проекта этого замечательного здания неизвестен, называются фамилии крепостных архитекторов Ивана Подьячева и Тимофея Простакова, но похоже, что они только наблюдали за строительством, а сам проект был сделан высокопрофессиональным и незаурядным мастером.
В саду за главным зданием в 1822 г. поставили обелиск в память основателей института. Сейчас этот памятник с надписями известного поэта XVIII в. А. Ф. Мерзлякова находится посередине парадного двора. На пьедестале рядом с беломраморным портретом Ивана Лазаревича Лазарева помещена эта надпись:
С левой стороны находится горельефный портрет Екима Лазаревича Лазарева:
Чугунный монумент хранит имена других представителей знаменитого рода Лазаревых: «Анне Сергеевне Лазаревой, супруге Иоакима Лазаревича, пожертвовавшей знатный капитал в пользу Института.
Лейб-Гвардии гусарского полка Штаб Ротмистру и Кавалеру Артемию Иоакимовичу Лазареву, пожертвовавшему знатный капитал в пользу Института.
Сына Иоакима и Анны Лазаревых Артемия назвали в память двоюродного брата, погибшего двадцати трех лет в русско-турецкой войне, но… причуда судьбы: и он погиб в двадцать два года в ожесточенной «Битве народов» войск Наполеона и союзников под Лейпцигом в 1813 г.
В 1828 г. Иван Екимович Лазарев присоединил к владениям Лазаревского училища и правый участок, стоявший на углу Кривоколенного переулка: «Коллежская асессорша Мария Александровна дочь Салтыкова запродала Ивану Екимовичу Лазареву собственный свой каменный дом со всеми землями и всеми строениями при оном без всякого изъятия ценою за пятьдесят тысяч рублей ассигнациями». В новоприобретенных зданиях создали оборудованную по последнему слову типографию, столь необходимую для просвещения армянского народа.
В 1840-х гг. флигели были соединены переходами с главным зданием.
В 1835 г. училище Лазаревых получило статус гимназии, а в 1848 г. стало Лазаревским институтом восточных языков. В нем преподавали крупные ученые, сделавшие значительный вклад в востоковедение — Ф. Е. Корш, В. Ф. Миллер, Н. О. Эмин, В. А. Гордлевский и др. Здесь учились писатели И. С. Тургенев, В. Г. Лидин, филологи Д. Д. Благой, Р. О. Якобсон, Р. И. Аванесов, режиссер К. С. Станиславский, государственные деятели М. Т. Лорис-Меликов, И. Д. Делянов, историки В. К. Трутовский и С. П. Мельгунов; при институте Микаэлом Налбандяном издавался журнал «Юсисапайл», сыгравший большую роль в просвещении армянского народа; при институте была и хорошо оборудованная типография (она помещалась к северу от главного здания). Библиотека Лазаревского института славилась в Москве — в ней находилось более 40 тысяч томов на армянском, русском, арабском, персидском, турецком и западноевропейских языках.