Для перевода Витрувия на русский язык он привлекает своего друга Каржавина, который после долгих скитаний по Европе снова вернулся в Москву с пустым кошельком и головой, наполненной дикими планами.
Мастер пространно пишет, почему ему нужен Каржавин: «Должность его и знания не в чертежах и не в рисунках, но именно в рассуждениях о математических тягостях в физике, в переводе с латинского, с французского и с эллино-греческого языка авторитетных сочинений, величавых пропорций архитектуры; для изъяснения гистории: откуда произошла красивая архитектура, да и в прочем, что в таком величайшем здании, каково будет кремлевское здание, да и по нынешнему при модели делу такого человека весьма нужно и необходимо для рассуждения математических и физических правил и примечаний».
Баженов восторженно рассказал Каржавину о своем замысле и предложил участвовать в работе.
Не разделяя надежд и восторгов друга, Каржавин ответил:
— Цыплят по осени считают, однако я твоему успеху премного рад…
За неумеренное восхваление французских вольнолюбивых идей Каржавина вскоре изгнали из Академии Троицкой лавры, где он преподавал французский язык.
Началась работа над моделью дворца. Потребовалось дерево высокого качества.
В Коломне пустовал старый деревянный дворец, построенный царем Алексеем Михайловичем. Баженов, ни минуты не колеблясь, просит сломать дворец, так как в «оном дворце выберется много такого леса, какой в лучшую столяренную работу потреблен быть может, и какого по доброте и сухости достать и купить не можно будет».
Дворец разобрали. Для работы по изготовлению модели нужного количества отечественных мастеров не нашлось. Привлекли иностранцев: машинного мастера Иоганна Шуля, столярного — Андрея Витмана, кирпичного — Вильма Гильденбрехта, скульптора — Иоганна Юста и других.
Были посланы разведки на берега Оки и Остеры за строительным камнем. Казаков поехал в Серпуховский уезд искать мрамор, из Сибири затребовали «известия о мраморе больших мер».
Интриги вокруг строительства дворца усиливались. Многие не верили, что Баженов справится с такой задачей; иностранные архитекторы в Петербурге считали себя обойденными — их даже не привлекли к обсуждению такого огромного проекта. Баженова томила неопределенность: кто знает, что взбредет на ум непостоянной и капризной Екатерине, которая, как передавали шопотом, теперь переживает очередной «медовый месяц» с новым фаворитом…
Находились скептики, которые прямо говорили:
— Вся эта затея — пустая. Императрица хочет показать, сколь богата держава, и дело дальше представления с фейерверком не пойдет…
Баженову такие предположения казались дикими.
Когда генерал Измайлов получил приказ Екатерины: «начинать разбирать старые в Кремле строения, как в плане обозначено», Баженов ожил.
Для будущего Кремлевского дворца очищалось место. Сносились старые, обветшалые строения. Была разобрана городовая стена от церкви Благовещения до церкви Петра-митрополита. На горе разобрали длинный кopпус старинных приказов, тянувшихся от Архангельского собора к Спасским воротам. Снесли здание дворцового запасного двора, палаты князей Трубецких, Дворы соборного духовенства, церковь Косьмы и Дамиана и ряд других строений, облеплявших Кремль… Державин, тогда еще молодой поэт, посвятил этому событию специальное стихотворение: «На случай разлома Московского Кремля для построения нового дворца в 1770 году архитектором Баженовым при отъезде автора из Москвы в Петербург»:
Во время земляных работ для Большого дворца была вскрыта многовековая плесень погребов и подвалов — смрадный воздух окружал Кремль. Жалобы москвичей дошли до Екатерины. Пугаясь рвения Баженова, она указала Измайлову: «Если увидите, что рытье фундамента под Кремлевским дворцом в нынешней осенней поре воздух портит, то прикажите до зимы остановить».
Уже тянулись подводы с материалами для дворца. На Калитниковском поле устроили кирпичный завод. В «Московских ведомостях» печатались публикации с предложением брать поставки на лес, песок…
Душою всего дела был Баженов.