Матвеев отличался и в военном деле, и в гражданском, и в посольском. В разное время он руководил важнейшими приказами: Малороссийским, Аптекарским, Стрелецким, Посольским и другими, и многие документы подписывались: «По указу великого государя и по приказу боярина Артамона Сергеевича Матвеева». Царь Алексей Михайлович был весьма близок с боярином: известно его письмо, в котором он обращался к нему «друг мой Сергеевич!» и писал: «Приезжай к нам скорее: дети мои и я без тебя осиротели; за ними присмотреть некому, а мне посоветовать без тебя не с кем». Н. И. Новиков, издавший письма царя, сообщал, что таких писем много находится в доме, принадлежавшем Матвееву. «Но где же эти бумаги, эти драгоценные письма? — продолжал он. — Все это погибло безвозвратно…»
Артамон Матвеев был образованнейшим человеком своего времени, придававшим большое значение становлению медицины, собравшим обширную библиотеку, написавшим несколько исторических трудов.
Каменные палаты в окружении хозяйственных построек занимали крайнюю южную часть усадьбы (часть их находилась там, где теперь проходит Сверчков переулок), а на всей остальной площади находился обширный сад. У Матвеева была и домовая Троицкая церковь, называвшаяся «на Поварне», она находилась поблизости от усадебной кухни; иногда ее называли «на Пивоварнях» или «в Пивоваренной». Церковь стояла в саду, на подклете, украшена одной главой и находилась недалеко от главного дома, примерно в пяти саженях, к ней от дома вел каменный переход на арках. По словам очевидцев, церковь была «украшена редкостной живописью». О ее внешнем виде до некоторой степени можно судить по Спасской церкви на окраине Москвы (Рябиновая улица, 18). В 1673 г. Матвеев приобрел у Федора и Петра Пушкиных село Манухино под Москвой и через три года построил там замечательную каменную церковь Спаса, по которой село стало называться Спасским-Манухином. Можно предположить, что ее автором был зодчий Иван Кузнечик, строивший и Никольскую «в Столпах» церковь напротив матвеевской усадьбы, и усадебную церковь Троицы.
В 1722 г. Троицкая «на Поварне» церковь значится в списке запечатанных по указу Петра I, в 1737 г. числилась при доме князя Василия Ивановича Мещерского. Со временем она все больше и больше ветшала: «большая трещина в алтаре, многие окна заложены кирпичом», и уже в 1776 г. митрополит Платон распорядился об упразднении ее, но владелец дома — тогда им был князь Петр Мещерский — не согласился с этим приговором, так что службы в ней продолжались до 1785 г. Церковь была на содержании владельца дома: так, например, ежегодная руга (ругой называлось содержание церковного причта) священнику состояла из денег 8 руб лей, муки ржаной 8 четвертей (русская мера сыпучих тел четверть — это почти 200 литров), крупы овсяной 3,5 четверти, солода 1 четверть, муки пшеничной 1 четверть, мяса 3 пуда, баранов 6, масла коровьего полпуда, конопляного полведра, выдавалась шуба баранья на два года, соли пуд, а для жительства предоставлялась горница с сенями. В 1785 г. вдова князя Сергея, брата Петра Мещерского, сама попросила разрешения ветхую церковь разобрать, а утварь передать в село Лотошино, где у Мещерских было большое имение.
С именем Матвеева связаны и первые в России театральные постановки: в доме был домашний театр, на сцене которого выступали его дворовые люди и иностранцы, и он устраивал представления для царя Алексея Михайловича в Кремле и в Преображенском.
Дом Матвеева также выделялся из многих других в городе, что отмечали иностранные путешественники. Так, по словам Якова Рейтенфельса, из всех боярских домов Москвы «пальма первенства вполне заслуженно принадлежит изящнейшему дворцу боярина Артамона Сергеевича». Бернгард Таннер, бывший в Москве в 1678 г., пишет, что в Москве «много также каменных и деревянных хором, принадлежащих боярам и иноземцам, и садов. Лучше всех других красивые хоромы Артемона Сергеевича». Иоанн Арнольд Брандт рассказывает, что когда они были со своим послом в доме окольничьего Артемона, то посол прошел между длинным рядом поставленных в знак почета слуг двумя покоями в кабинет к Артемону, обитый внутри материей, со сводчатым потолком, как в капелле. «Там мы оставили посла с окольничим наедине… Мы в это время были во втором ближайшем покое с деревянным полом из квадратных половиц; посередине висела сделанная из оленьих рогов люстра, а кругом были разные попугаи и иные прекрасные птицы в нарочно для них сделанных клетках; была также прекрасная, большая кафельная печь и разные образа с поставленными восковыми свечами, большое зеркало и длинный, широкий, испещренный разными историями и художественно сделанный стол».