В конце 60-х годов деятельность его стала развиваться еще более энергично. Среди небольших, но занявших почетное место в истории собрания картин, как «Сатурн и Амур» Акимова, портрет Суханова – Егорова, «Чтение Талмуда» и «Ослики» Риццони, «Закат солнца» Клодта, «Гурзуф ночью» Айвазовского, «Выход из церкви» Морозова, «Проводы начальника Юшанова, «Будочники-славильщики» Соломаткина, «Бабушкины сказки Максимова, появляются капитальные вещи, как портрет Брюллова работы Тропинина, нашумевшая «Княжна Тараканова» Флавицкого и «Грачи прилетели» Саврасова. Стали прибавляться по нескольку сразу картины Перова, а за ними серии портретов выдающихся людей искусства и литературы. Между 1869 и 1871 годами у Павла Михайловича появились заказанные и приобретенные им портреты Писемского, Островского, Достоевского, Майкова, Погодина, Н. Г. Рубинштейна, Даля, Тургенева, автопортрет Перова, портреты Шевченко, Васильева, Антокольского, Клодта, Даргомыжского и певца Петрова работы К. Маковского, портрет Серова работы Келлера, Бруни – Горавского, Айвазовского – Тыранова и Платона Кукольника – Брюллова. А на Первой Передвижной выставке Павлу Михайловичу принадлежали «Петр и Алексей» Ге, «Майская ночь» Крамского, первые картины В. Маковского – «Игра в бабки» и «В приемной доктора», пейзажи Шишкина и Васильева. На Второй Передвижной – «Христос в пустыне» Крамского, и последовали ему заказы портретов Л. Н. Толстого, Грибоедова и Шишкина.
Понятно, что был предел возможности вместить все это в стенах толмачовского дома. По упоминаниям в переписке Павла Михайловича с художниками и по моим воспоминаниям, насчитывается полторы сотни художественных произведений. Но, конечно, их было гораздо больше. Назрела необходимость выстроить специальное помещение. Собрание Павла Михайловича приобретало известность, многие любители выражали желание знакомиться с ним. Посещения интересующихся делались стеснительными как для них самих, так и для семьи Павла Михайловича.
Как происходил смотр собрания посторонними, я не помню. Возможно, что были назначенные дни и часы. Кто водил и давал пояснения, – я не знаю, дети в это время сидели в детской. Во всяком случае, не сам Павел Михайлович, он был всегда очень занят, да и по природной застенчивости не был общителен. Он говаривал не раз, что очень боится новых людей. Знакомых же сопровождала наша мать. Она упоминает в своих записках, что и дочка Вера быстро изучила содержание картин и имена художников и подсказывала матери, когда она не сразу называла их.
В 1872 году было принято решение о постройке галереи. Постройку должен был производить зять Павла Михайловича, А. С. Каминский. Немало, наверное, было толков и совещаний. Каминский, часто приходя с Павлом Михайловичем к завтраку, продолжал за столом строить планы и их обсуждать. Пришлось пожертвовать куском сада, где как раз стояла группа густых грушевых деревьев. Здание должно было примкнуть к дому, захватив одно окно по южной стороне. Окно превращалось в дверь внизу – в кабинете, наверху – в столовой. Была подана смета. Этот первый документ имел такое заглавие: «Смета на постройку галереи для художественных картин г. Павлу Михайловичу Третьякову. Составлена 23 августа 1872 года».
Все работы должны были стоить 27658 рублей 70 копеек.
К стройке приступили тотчас же. Павел Михайлович, вполне доверяя Каминскому, 2 сентября уехал с Верой Николаевной путешествовать. В тот год они навещали в Крыму больного Васильева и осматривали некоторые города Германии. Дети оставались, как обычно, на даче в Кунцеве до конца сентября, поэтому начало работ – как валили деревья и рыли – мы не видели.
5 октября Сергей Михайлович писал брату за границу: «Сегодня получил от тебя телеграмму из Мюнхена, на которую отвечаю, что ваши дети совершенно здоровы и что у вас все благополучно. Постройка в Толмачах идет довольно успешно». В эту осень стены были выложены под крышу. В 1873 году здание достраивалось, штукатурилось и отделывалось. Нижний зал, очень низкий, как весь нижний этаж дома, имел окна только на север. Были деревянные перегородки, шедшие от каждого простенка между окнами. Из нижнего этажа в верхний вела деревянная лестница. Верхний зал, очень высокий, освещался окнами, проделанными вверху стен под потолком. Надо сказать, что такое освещение оставалось недолго. Оно давало недостаточно света. Его переделали.