В 1775 году Екатерина II установила новую структуру губернской администрации в России, включая суды и финансовые органы. Эта структура проектировалась и для балтийских губерний взамен их традиционных и позже была введена Павлом. Александр ничего не предпринял, чтобы изменить ее, и его понимание прав и привилегий балтийских губерний выражалось фразой: «они должны согласиться с главными указами и законами нашего государства». На практике это означало, что балтийские губернии представляли как бы отдельную административную инфраструктуру, которая подвергалась модификации по мере необходимости. В 1801 году, например, российский военный правитель Риги был поставлен во главе администрации всех трех балтийских губерний. Позже, в 1810 году Эстония отделилась от Курляндии и губернии Литвы (которая была создана после расширения России в результате раздела Польши). Все три губернии были вновь объединены в 1819 году, и затем в 1823 году к ним была добавлена Псковская губерния. Однако, в отличие от Екатерины, Александр не проявлял большого интереса к внутренним делам Балтики и не навязывал ей русских установлений. Он не предпринял ни малейшей попытки устранить конфликт, возникший в Риге из-за сохранения традиционных гильдий, что противоречило городским установлениям Екатерины (принятым в 1785 году), или разрешить конфликт внутри литовского парламента в 1803 году по поводу восстановления правительственных законов, принятых Екатериной в 1775 году.
Грузия была присоединена в 1801 году, но Александр позволил ей принять свою собственную «конституцию». Под словом «конституция» он понимал, что Грузия принимала свои законы и общественную организацию, но подчинялась его собственной администрации. Это было похоже на его отношение к управлению балтийскими губерниями. Грузия не получила такую конституцию, какая была дана Польскому королевству. Грузинская монархия была оставлена, и статус грузинской православной церкви не был изменен. Однако грузинское дворянство было соотнесено с русским табелем о рангах и получило русские титулы, что не понравилось местной знати. В отличие от России, всем социальным группам Грузии позволялось иметь крепостных крестьян (включая духовенство, торговцев и даже самих крепостных). Александр не предпринял попытки отменить это, что было сделано во время правления Николая I. Однако в 1821 году Александр отменил в Грузии право свободных крестьян добровольно переходить в крепостные.
Александр также уделил некоторое внимание евреям, которые стали подданными Российской империи в результате трех разделов Польши во время правления Екатерины. Историки расходятся в определении числа евреев в империи. Это число колеблется от 32 000 до 200 000, хотя последние исследования показывают, что нижняя цифра ближе к истине. Екатерина пыталась заставить евреев селиться в городах. В поздние годы своего правления она ввела для них двойной подушный налог (который, конечно, был принят в штыки) и налог за службу (вместо действительной службы), который заставлял относиться к евреям, как к отдельной социальной группе с обязанностями, отличными от остальных. Права и обязанности евреев в городах остались неясными, и Александр учредил в ноябре 1802 года специальный комитет, чтобы рассмотреть этот вопрос. В Комитет для организации жизни евреев входили Державин (позже замененный П. В. Лопухиным), Валерий Зубов, Сперанский, Кочубей, Чарторыский и Потоцкий. Результатом их работы стал закон о евреях 1804 года, который состоял из двух частей: во-первых, он предусматривал управление и уравнивание еврейского общества, включая право на обучение в школах и высших учебных заведениях; во-вторых, крестьянство защищалось от экономической эксплуатации евреями, так как последним запрещалось торговать спиртными напитками. Закон не отменял катальную структуру (которая, кроме всего прочего, сохраняла право распределения налогообложения внутри общества) и не прояснил статус евреев и их права в выборных муниципальных учреждениях, установленных внутренней правительственной реформой 1775 года. Евреям было позволено становиться фермерами, им были выделены определенные земельные участки, но, по правде говоря, их экономическое положение только ухудшилось. Кроме того, давало себя знать двойное налогообложение, недостатки которого были устранены лишь к 1807 году.