Для постройки загородного дома для графа был приглашен архитектор А. Ринальди. По его проекту в большом живописном парке, у подножия Мариенбургских высот — близ источников реки Ижоры, и возникло основное ядро Гатчинского дворца. Новое творение А. Ринальди строилось в немецком стиле, и облик дворца довольно необычен. Дворец, окруженный великолепным парком, состоял из главного корпуса и двух боковых двухэтажных флигелей, сливающихся с ним под прямым углом. Трехэтажный фасад дворца был замкнут с боков двумя высокими пятигранными башнями — Сигнальной и Часовой.
Боковые флигеля были возведены в форме каре с башнями по углам, а между ними раскинулся обширный зеленый луг. Фасады дворца почти не имели украшений и оживляли их лишь чуть выступающие поэтажные пилястры, наличники да лопатки, не выделенные ни материалом, ни цветом. Очень скромным был и портик, оформляющий вход в центральный парк дворцового ансамбля, но величие всему сооружению придавали облицовка стен местным пудостским камнем — известняком.
Из внутренних помещений дворца выделялся Белый зал — одноиз самых удачных творений А. Ринальди. Этот зал отличался своей величиной и качеством отделки, а пять больших арочных застекленных проемов придавали всему интерьеру вид величественный и торжественный.
Особенно замечательным в Белом зале был лепной декор. Колосья, ветви с листьями и цветами, завитки аканта и рога изобилия, гирлянды из цветущих трав и плодов — все было подчинено принципам орнаментики, и в то же время передана естественная упругость словно только что срезанных стеблей, чуть никнущих от увядания. Мастера лепили узоры «наметом» — прямо на стене, поэтому при всей общности черт каждая ветвь имела свои неповторимые оттенки, расположение и форму листьев.
После смерти Г. Г. Орлова императрица Екатерина II купила дворец у наследников графа и подарила его своему сыну — великому князю Павлу Петровичу. С тех пор на 30 лет Гатчина стала резиденцией наследника. Но занятый в это время строительством в Павловске и не имея достаточных средств, Павел не мог уделять большого внимания Гатчине, хотя довольно часто жил здесь и оставлял свою новую резиденцию только, на время.
На протяжении 10 лет Гатчинский парк оставался таким, какимего задумал А. Ринальди, а сам дворец не подвергался изменениям втечение 15 лет.
К началу 1790-х годов архитектор В. Бренна почти закончил отделку парадных залов дворца в Павловске, что и позволило привлечь его к работам в Гатчинском парке. Три года работы В. Бренна в Гатчине ограничивались преимущественно только парком, так как средств, скупо отпускаемых императрицей, на все не хватало. Но к 1796 году открытые колоннады Гатчинского дворца, возведенные А. Ринальди, стали постепенно разрушаться «от верхнего неумеренного груза, как-то от лежащего на них карниза с парапетом и потолков с крышкою, а притом часто от мокроты и морозов». Как стало видно из последующего экспертного заключения, это был инженерный просчет А. Ринальди, который не учел к тому же и местных климатических условий.
Спасение разрушающегося Гатчинского дворца было поручено архитектору В. Бренну, который дополнил и частично перестроил его. Зодчий предложил заложить открытые лоджии черницким камнем, превратив их в застекленные галереи, что не только обеспечивало достаточную прочность конструкции верхнего этажа, но и защищало своды нижнего от сырости. Новые закрытые галереи решено было украсить живописью.
В мае 1976 года деньги, необходимые для переделки Гатчинского дворца, были отпущены, а со вступлением Павла I на российский престол работы начались с еще большим размахом. В ноябре 1796 года император издал указ: «Собственную нашу мызу Гатчину переименовать городом», — и с этого времени начинается новый этап в истории Гатчинского дворца. Павел I хотел превратить бывший орловский дворец в императорскую резиденцию с богато отделанными парадными интерьерами, и разработка нового проекта дворца была поручена В. Бренну.
Отдельные части главного дворцового корпуса В. Бренна решил перепланировать, чтобы убрать ненужные помещения, а одноэтажные Кухонное и Конюшенное каре не только перепланировать заново, но также надстроить на два этажа. Зеленый луг перед дворцом был превращен в плац для учений и парадов, позднее его обнесли бастионной стеной с амбразурами для пушек и окружили рвами с подъемными мостами.
Архитектору приходилось одновременно проектировать и строить, причем сроки на то и другое давались минимальные. Чтобы привести в порядок все помещения дворца, продумав и обеспечив необходимое внутреннее убранство, необходимо было иметь необычайный талант, выдумку, организаторские способности, а также трудолюбие чрезвычайное. И к 1800 году все работы по перестройке Гатчинского дворца были закончены.