А. Т. Тарасенков полагал, что трагический конец Гоголя ускорили беседы с К. в последние месяцы жизни писателя: «К этому же времени приехал из Ржева, Тверской губернии, Матвей Александрович, священник, известный образцом строгой христианской православной жизни. С особенною охотою он разговаривал с ним теперь, когда размышления религиозные были ему так по сердцу. М. А. прямо и резко, не взвешивая личности и положения, поучал, с беспощадною строгостью и резкостью проповедывал истины евангельские и суровые наставления церкви. Он объяснял, что если мы охотно делаем всё для любимого лица, то чем мы должны дорожить для Иисуса Христа, сына Божия, умершего за нас. Устав церковный написан для всех; все обязаны беспрекословно следовать ему; неужели мы будем равняться только со всеми и не захотим исполнить ничего более? Ослабление тела не может нас удерживать от пощения; какая у нас работа? Для чего нам нужны силы? Много званых, но мало избранных. За всякое слово праздное мы отдадим отчет и проч. Такие и подобные речи, соединенные с обличением в неправильной жизни, не могли не действовать на Гоголя, вполне преданного религии, восприимчивого, впечатлительного и настроенного на мысль о смерти, о вечности, о греховности. Притом Гоголь видел, как М. А. на деле исполнял самые строгие пустынно-монашеские установления церкви: например, много и долго молился за обедом, почти не ел, не хотел благословлять стола в среду прежде, нежели удостоверится, что нет ничего скоромного. Разговоры этого духовного лица так сильно потрясли его, что он, не владея собою, однажды прервав его речь, сказал ему: „Довольно! Оставьте, не могу далее слушать, слишком страшно!“»
О К. писал Гоголю в 1848 или в 1849 гг. К. И. Марков, один из читателей «Мертвых душ»: «Не лишним считаю сказать вам мое мнение об о. Матвее. Сколько мне известно, вам рекомендовал его граф Толстой, но, вероятно, преувеличил его достоинства. Как человек, он, действительно, заслуживает уважения; как проповедник он замечателен — и весьма; но как богослов — он слаб, ибо не получил никакого образования. С этой стороны я не думаю, чтобы он мог разрешить сколько-нибудь удовлетворительно ваши вопросы, если они имеют предметом не чистую философию, а богословские тонкости… О. Матвей сможет говорить о важности постов, необходимости покаяния, давно известных предметах, но тщательно избегает трактовать о сюжетах чисто богословских и не может даже объяснить двенадцать догматов наших, т. е. членов символа веры, а в истинном понятии их и заключается христианство, ибо добродетель была проповедуема всеми народами».
6 февраля 1852 г. Гоголь написал К. последнее письмо: «Уже написал было к вам одно письмо еще вчера, в котором просил извинения в том, что оскорбил вас. Но вдруг милость Божия чьими-то молитвами посетила и меня жестокосердного, и сердцу моему захотелось вас благодарить крепко, так крепко, но об этом что говорить? Мне стало только жаль, что я не поменялся с вами шубой. Ваша лучше бы меня грела. Обязанный вам вечною благодарностью и здесь и за гробом весь ваш Николай».