Вопрос о перестройке Торговых рядов на Красной площади встал за тридцать лет до их торжественного освящения, в 1864 г. В 1869 г. был выработан устав общества городских Торговых рядов и подано в думу прошение об его утверждении за подписями купцов А. Поро-ховщикова и Н. Азанчевского. В прошении в числе прочих было предложение об устройстве посреди Ветошного проезда улицы, параллельной Красной площади. Однако соглашение между представителями общества и городской думой было достигнуто только в мае 1888 г. Сразу же после этого старые Торговые ряды, восстановленные по проекту О. И. Бове после пожара 1812 г., были закрыты, и на Красной площади были построены временные железные. Строительный комитет сформулировал требования к проекту здания, сводившиеся к следующему: пассажи должны удовлетворять всем требованиям современной торговли, и одновременно по своим архитектурным достоинствам они должны стать украшением города, памятником, достойным своего исключительного местоположения. С этой целью общество по постройке рядов объявило конкурс, создало представительное жюри, в состав которого входил и представитель Академии художеств. В результате объявленного 15 ноября 1888 г. конкурса к 15 февраля 1889 г. на имя жюри поступило 23 проекта из Петербурга, Москвы, Одессы, Берлина. Премии распределились следующим образом: первая – А. Н. Померанцеву, вторая – Р. И. Клейну, третья – А. Г. Веберу.
По проекту, удостоенному первой премии, началось строительство. Осенью 1889 г. были частично заложены фундаменты под новое здание, 21 мая 1890 г. заложен первый камень. В 1892 г. была окончена облицовка главного фасада, а 2 декабря 1893 г. состоялось торжественное открытие Верхних торговых рядов. За разработку и осуществление проекта этого здания Померанцев получил высшее академическое звание профессора архитектуры.
Здание Верхних торговых рядов вместе с сооружавшимся зданием Средних, недавно возведенным Историческим музеем и зданием Московской городской думы на Воскресенской площади (архитектор Д. Н. Чичагов) составило уникальный в своем роде ансамбль конца XIX века, выдержанный в «русском» стиле.
А. И. Померанцеву как автору проекта Верхних торговых рядов приходилось считаться не только с древними памятниками – собором Василия Блаженного и кремлевской стеной, но и законченным незадолго до того зданием Исторического музея. В отличие от музея Верхние торговые ряды выходили на Красную площадь продольным фасадом протяженностью 241,64 м. Анализ его композиции показывает, что архитектор учел все возможные связи своего сооружения с окружающими зданиями, особенности их взаимодействия и согласования в каждом отдельном случае. В этом ему помогло виртуозное владение приемами равномерной ритмической и симметрично-осевой композиции. Центральная трехэтажная часть здания находится на поперечной оси Красной площади, на которой расположены также Сенатская башня и купол Сената. Но если у Бове главная ось подчиняла себе остальные, то у Померанцева благодаря равномерности и развитости горизонтальных ритмов не столько фиксируется статичный центр, сколько выявляется подвижность композиции, возможность ее развития в одну и в другую сторону.
Эта внутренняя изменчивость и подвижность композиции Верхних торговых рядов определяет их уникальное качество. Здание по-разному выглядит с разных точек зрения в зависимости от того, с каким зданием оно согласуется и в каком окружении воспринимается. При взгляде в сторону Исторического музея обращает на себя внимание симфония башен, которая была много богаче полвека назад, в пору существования Иверских ворот и Казанского собора на углу Никольской улицы и Красной площади. Здесь как бы возрождается традиция древнерусского зодчества – непосредственное взаимодействие расположенных на расстоянии друг от друга башенных объемов. В первый период эклектики обращение к древнерусской градостроительной традиции трактуется буквально как возрождение силуэтности храмов, сооружаемых по преимуществу в «русском» стиле. Померанцев и Шервуд переосмысляют древний прием. Взаимодействие вертикалей и богатство пространственных связей достигается ими при сохранении принципов периметральной регулярной застройки.
До перестройки в конце XIX века классицистические фасады Верхних и Средних торговых рядов организационно и архитектурно составляли одно художественное целое. Эту традицию, но на иных основаниях, продолжили мастера конца прошлого столетия. Сразу же после конкурса на проект Верхних торговых рядов Общество по строительству Средних торговых рядов пригласило Р. И. Клейна для разработки программы, а вслед за этим поручило ему и исполнение самого проекта здания Средних торговых рядов.