Еще важнее для министра было подвергнуть пересмотру систему функционирования самого министерства. Выдвинув во главу угла высокий профессионализм, Горчаков попытался оптимизировать работу одного из ключевых ведомств государства. В ходе пересмотра штатов, их структуры было проведено и преобразование всей системы управления. С 1859 года была восстановлена принятая в царствование Екатерины II норма — необходимость при определении на дипломатическую службу подтвердить знание двух иностранных языков и иметь диплом о высшем образовании. Были введены повторные внутриведомственные «испытания» для тех, кто готовился вступить в вакантную дипломатическую должность. Таким путем обеспечивалось преимущество тем, кто обладал незаурядными способностями, демонстрировал неординарность мышления и широту познаний. Помимо соображений сугубо профессионального свойства, эти меры ослабляли напор со стороны высокопоставленных чиновников, радевших за своих протеже. Горчаков исходил из того, что служащие Министерства иностранных дел — лица особые, наделенные рядом качеств, каких может не быть у представителей других ведомств. Их служебная значимость зависит от целого ряда достоинств, а исполняемые обязанности требуют специальной, длительной подготовки.
Особое предпочтение отдавалось умению в совершенстве владеть языком международного дипломатического общения, каким в ту пору утвердился французский. В министерстве все сотрудники изъяснялись только по-французски, что давало повод некоторым публицистам язвить, называя внешнеполитическое ведомство «иностранным министерством русских дел».
Возглавив МИД, Горчаков стал первым российским министром, обратившим внимание на необходимость систематизации и последующего изучения дипломатических документов прошлого. Начали разбирать архивы, относившиеся к истории внешней политики и государственного строительства, открыв к ним постоянный доступ для исследователей.
Главноуправляющий архивным департаментом Гамбургер оставил красноречивые воспоминания о том, каких трудов стоило Горчакову добиться передачи одного из солидных особняков Москвы, здания бывшего Горного управления, для размещения фондов московской части архивов МИДа. Пришлось выдержать атаку весьма влиятельных лиц, чтобы «отбить» здание в пользу архивного ведомства. Эта полная драматических перипетий эпопея завершилась выделением средств на капитальный ремонт здания. Его открытие состоялось в 1868 году.
Горчаков инициировал издательскую деятельность министерства выпуском в 1861 году первого ежегодника. В нем публиковались важнейшие сведения и документы о деятельности МИДа за истекший год. Тогда же приступили к изданию «Собрания трактатов и конвенций, заключенных Россией с иностранными державами», «Восточного сборника», а также словарей восточных языков.
Реформирование ведомства продолжалось на протяжении многих лет. В 1865 году на рассмотрение Государственного совета были внесены предложения относительно новой структуры и штатной численности аппарата Министерства иностранных дел Российской империи, согласно которым предлагалось практически на две трети (с 306 до 139) сократить число его сотрудников. Делалось это в первую очередь за счет ликвидации «столов и столоначальников, надзирающих за работой других». Александр II вслед за Государственным советом все эти предложения утвердил.
Оптимизация численности, ликвидация промежуточных звеньев позволили расширить возможности растущей сети загранучреждений и увеличить оклады занятым на особо ответственных должностях, поскольку ассигнования на нужды министерства сокращению не подвергались. Горчаков добился и того, чтобы служащим министерства были установлены более высокие государственные чины и ранги. Повышение, о котором не могли мечтать чиновники других ведомств, было признанием деловых достоинств сотрудников, свидетельствовало о внимании к людям, близко стоящим к кормилу государственного управления. Тогда же, впервые в истории министерства, была создана специальная кадровая служба: департамент хозяйственных и счетных дел был преобразован в департамент личного состава и хозяйственных дел, уточнены его функции, укреплены штаты.
В 1868 году было принято новое «Учреждение» министерства. В его регламент были внесены уточнения принципиального порядка. Предмет ведения внешнеполитического ведомства России определялся так:
«Политические сношения с иностранными правительствами;
Покровительство в чужих краях русской торговле и вообще русским интересам;
Ходатайство о законной защите русских подданных по делам их за границей;
Содействие к удовлетворению законных требований иностранцев по делам их в России».
Тогда же были откорректированы функциональные обязанности департаментов, уточнены характер и функции ряда должностей, в частности, это касалось и роли заместителя Горчакова, «товарища министра».