В XIX в. опубликовали опись имущества, находившегося в матвеевском доме, в которой перечислены множество «шафов» (шкафов), богато украшенных, других предметов мебели, серебряной посуды и прочего. В доме была и картинная галерея, которую также описали дьяки: они особо отметили портреты, в числе которых были «персоны королей Польских Михаила да Яна», пять полотен, «а на них персоны немецкие поясные», тут же была и некая «персона молодая в шляпе с перьи, стоящая», не упустили они и «персону боярина Ильи Даниловича Милославского» (того самого, который ненавидел Матвеева), а также портреты самого Матвеева и его детей: «Да в четырех станках полотна, а на них написано: Артемон в служилом платье, стоячей. На другом полотне он же в служилом платье поясной. На двух полотнах дети его, Иван да Андрей стоячие».
Кроме портретов, в галерее находились и такие картины, как, например, «как Иосиф бежал от Петерфиевой жены» (на библейский сюжет), «Целомудрие, а в правой руке написан скипетр» и «написана Весна, в руках сосуд с травами».
Адольф Лизек, секретарь австрийского посольства, в 1675 г. свидетельствует: «Украшением ему были не только картины и образа немецкой кисти, но и часы, представлявшие любопытное зрелище по различному своему устройству… У других русских в комнатах едва ли что подобное увидишь. Один только этот боярин и заявляет свою особенную любовь к иностранцам». Дом Матвеева часто посещали иностранные послы, и здесь проводились важные дипломатические встречи и переговоры.
Иностранцев встречал не только хозяин дома, но и его жена Екатерина Гамильтон, из старинного шотландского рода, выехавшего в Россию. Домашние нравы его дома сильно отличались от общепринятых тогда — на Руси женщины могли находиться только на женской половине дома и не общались с гостями, но у Матвеева не было той обычной замкнутой теремной жизни.
В доме боярина жила Наталья Кирилловна Нарышкина, родственница жены Матвеева: ее дядя Федор Нарышкин был женат на племяннице жены Матвеева Евдокии Гамильтон. Как рассказывается, к своему другу в хоромы в Столповом переулке запросто приходил царь Алексей Михайлович, и во время одного такого посещения он — вдовец после смерти жены Марии Милославской — увидел Наталью Нарышкину и задумал жениться на ней.
В последнее время появились сомнения в правдоподобии этого рассказа, хотя его подтверждает и современник, иностранный путешественник, пересказывавший слухи, ходившие тогда в Москве: «В 1671 году, во время нашего пребывания в Московии, Алексей, оплакав достойным образом покойную жену свою, вознамерился жениться во второй раз и приказал всем прославившимся своею красотою знатным девицам собраться у Артамона Сергеевича… Когда те все собрались, то царь потаенным ходом пришел к Артамону в дом и, спрятавшись в тайнике (откуда, однако, ему была видна комната, назначенная для женщин), тщательно рассматривал не только по отношению к одной внешности, но и по отношению к духовным качествам и поведению все это красивое, хотя и не воинственное женское войско, а когда они поодиночке проходили мимо того окошка, из которого он смотрел, то он заботливо вглядывался, сколько в каждой из них искусственной и природной красоты… Алексей, будучи проницательного ума… с первого же раза избрал себе в сожительницы Наталью Кирилловну и так же скоро приобрел и ее любовь чрез подарки, достойные столь великого государя… Наталья некоторое время не знала о своем счастье, пока царь, несколько недель спустя, рано утром, не прислал к Артамону на дом нескольких бояр с придворными каретами в сопровождении небольшого отряда конницы и трубачей. Новоизбранная невеста жила здесь, совершенно не зная того, что ей предстояло, и спокойно спала глубоким сном. Шафера, сообщив Артамону о почетном поручении, возложенном на них от царя, вместе с тем усердно просили поскорее отпустить их по исполнении поручения во дворец с невестою. Артамон, конечно, не мог противиться царской воле, к тому же столь благородной, и, разбудив спящую крепким сном Наталью, объявил ей о намерении царя, на которое она и не замедлила в высшей степени благоразумно согласиться, находя это неизбежным. Тогда ее поскорее одели в царское одеяние, привезенное из дворца, дабы народ видел ее пышно наряженной, и повезли с небольшим количеством ее прислужниц в царский дворец. Одеяние это, разукрашенное драгоценными камнями, было от того так тяжело, что она несколько дней жаловалась, что оно чуть не обломало ей все кости. По приезде она тотчас же отправилась с царем в церковь, где в присутствии лишь немногих близких лиц царским духовником было совершено венчание». Но, похоже, это происходило не так.