К тому же эмоциональное начало его характера, артистичность натуры и сопутствующая им легкая ранимость делали его особенно уязвимым. Вероятно, поэтому и старался он у себя дома встречаться с людьми попроще, лишенными спеси, не всегда умными и талантливыми, но редко злословящими. Священник Вознесенской церкви, прихожанином которой с детства являлся Яковлев, отец Григорий — рассудительный, неглупый, любящий поговорить на богословские и философские темы; Сергей Иванович Кусов — «добрейший малый», по характеристике Жихарева, «хотя и пустой человек»; маленький и кругленький переводчик Петр Николаевич Кобяков, переливающий, по словам того же Жихарева, «из пустого в порожнее»; бездарнейший, но добродушный автор «Лизы, или Следствия гордости и обольщения» Василий Михайлович Федоров; Степан Петрович Жихарев — живой, любопытный, влюбленный без памяти в театр, с которым Алексей Семенович отводил душу, рассуждая об искусстве или читая наизусть библейские тексты и стихи Державина… Это для них потрошил толстый Семениус «индыка» и накрывал пестрой скатеркой стол на квартире Яковлева. Это для них по особому рецепту готовились не пунш, а настоящий «омег» и душистые «травнички». Это им по приказанию хозяина приносили яства из соседней харчевни, и сам он, щедро наставив на стол паюсной икры, сметаны, масла, уверял, что там блины «пекут отличные, и дома таких не дождешься!» А «разогревшись веселой беседой», начинал петь духовные мелодии Бортнянского и любил, чтобы ему вторили. Иногда же принимался декламировать или рассказывать о своем купеческом житье… Конечно, заходили к Яковлеву и актеры. Но с актерами у него отношения были сложнее.
Большинство актеров, как видно из воспоминаний А. Е. Асенковой, робело перед ним, чувствуя разницу в своем и его таланте, начитанности, умении отстаивать достоинство художника. Претендующие на равное с ним положение нередко, как то бывало с Шушериным, завидовали и злословили. Молодые с напряженным благоговением ожидали его мнения о себе. «Одобрение Яковлева значило все», — признавалась А. Е. Асенкова.
И что любопытно: важные, цедящие сквозь зубы похвалы знатные театралы объявляли его неучем, способным лишь на кутежи, не сумевшим отшлифовать и отточить данный ему от природы ум и талант. Многие же актеры, понимая превосходство Яковлева, жадно прислушивались к его словам. Именно в их интерпретации донеслись до нас, приняв несколько официальную форму, его слова о служении театру:
— Советую быть внимательной к своим ролям, потому что искусство такая вещь, что если служить ему, так надобно служить честно…
— Человек с природным дарованием… наследник миллионера, который мотает безотчетно и без оглядки; он родился в золотой сорочке и не знает цены золота. Человек, наживающий талант трудом и заботою, похож на купца, который начал с копеечной коврижки, а кончил покупкой корабля с грузом пряных корений…
Актеры передавали друг другу и то, как в острословных боях обычно задумчивый Яковлев, разойдясь, всегда одерживал победы. Вот один из таких ярко рисующих Яковлева рассказов: