Обширная территория между Садовой улицей и Фонтанкой принадлежала в начале XVIII века приближенному Петра I, первому генерал-полицмейстеру Санкт-Петербурга португальцу А.М. Девиеру. Организатор столичной полиции, пожарной и других городских служб, он был отправлен А.Д. Меншиковым в ссылку в 1727 году. Близ Аничкова моста разместился Преображенский полковой двор и владение лесоторговца Д.Л. Лукьянова. В 1741 году при поддержке преображенцев Елизавета Петровна вступила на трон (по преданию, именно отсюда она направилась с гвардейцами к Зимнему дворцу, чтобы занять престол) и вслед за этим распорядилась начать строительство Аничкова дворца. Это первый дворец и одно из старейших зданий на Невском проспекте. Назван он был по Аничкову мосту, сооруженному в 1715 году под руководством М.О. Аничкова, командира работного батальона.
Проект здания составлен в 1741 году М.Г. Земцовым. После его смерти (1743 год) строительство вел Г.Д. Дмитриев, а завершил в 1754 году Ф.Б. Растрелли, который внес некоторые изменения в первоначальный замысел. В плане здание походит на растянутую букву «Н». Боковые трехэтажные крылья соединялись с двухэтажным корпусом, по оси которого выступали трехэтажные ризалиты. Разновысотность объемной композиции, использование пилястр – характерные особенности дворцового строительства раннего барокко. Вместе с тем тенденция елизаветинской архитектуры к обогащению форм проявилась в многообразии и затейливости рисунка оконных наличников, пышном убранстве фронтонов и парапетов. Растрелли увенчал торцы крыльев крупными гранеными куполами. Со стороны Невского купол поставлен над дворцовой церковью Воскресения Христова, для которой архитектор спроектировал трехъярусный золоченый иконостас (перенесен во Владимирскую церковь на одноименной площади).
Усадьба была отделена от Невского глухой каменной оградой с тремя воротами, а к Фонтанке выходил парадный двор с гаванью и двумя галереями вдоль берега. Большой регулярный сад с павильонами, беседками и скульптурами простирался до Садовой улицы.
В 1757 году Елизавета Петровна подарила дворец своему морганатическому супругу графу А.Г. Разумовскому. После его смерти усадьба перешла к его брату, президенту Академии наук графу К.Г. Разумовскому. В 1776 году Екатерина II пожаловала дворец своему фавориту графу Г.А. Потемкину, который был в то время вице-президентом Военной коллегии, генерал-губернатором южных областей. Для него дворец был перестроен в 1776–1778 годах И.Е. Старовым в формах раннего классицизма. В результате надстройки здание превратилось в единый по высоте объем. Облик его утратил черты живописного разнообразия и обрел строгий и несколько монотонный характер. Галереи были разобраны, гавань засыпана, регулярный сад перепланирован.
С 1793 года дворец использовался для Кабинета Ее (Его) Императорского Величества (Е. И. В.). Внутренние переделки в здании выполнил архитектор Е.Т. Соколов. Западная часть усадебного сада была передана в 1799 году Театральной дирекции. Кабинет Е. И. В., учрежденный в 1704 году, первоначально являлся личной канцелярией царя, а затем осуществлял управление императорскими казной, имуществом и землями. С 1826 года он был подчинен Министерству Императорского двора. В Аничковом дворце Кабинет размещался до переезда в соседнее здание на углу проспекта и набережной Фонтанки.
Больше столетия с начала XIX века дворец служил резиденцией императорской фамилии. В 1809–1816 годах его владелицей была великая княгиня Екатерина Павловна, сестра Александра I. Дворцовые интерьеры были частично изменены в 1809–1812 годах архитектором Л. Руска. В 1817 году дворец перешел великому князю Николаю Павловичу, ставшему в 1825 году императором Николаем I. Усадьба была в 1817–1820 годах реконструирована К.И. Росси, который возвел Сервизный корпус и два садовых павильона, перепланировал пейзажный сад (при участии А.А. Менеласа и И.А. Иванова). Одновременно Росси начал работать над проектом грандиозного ансамбля с Театральной площадью (ныне площадь Островского), впоследствии занявшей западную часть прежней дворцовой усадьбы. С 1810-х годов во дворце имел квартиру поэт В.А. Жуковский, служивший при дворе. У него в 1820 году А.С. Пушкин читал законченную поэму «Руслан и Людмила». Жуковский был воспитателем наследника престола, будущего императора Александра II, которому Аничков дворец был подарен в 1841 году.