При всем при этом Толстому долгое время удавалось оставаться в тени; он слыл в Париже хлебосольным русским старожилом, ведущим праздную жизнь барина якобы на деньги, присылаемые из русского имения. Один из его парижских знакомых В. А. Муханов вспоминал: «Яков Толстой с радостью принимает вновь прибывших в Париж русских путешественников, вводит их во все дома, оказывает им всяческие услуги. Его можно встретить и на посольских обедах, и в литературном салоне министра народного просвещения Франции Сальвенди, и в кафе на бульварах. При встречах в дружеских кружках он предпочитает скорее расспрашивать, чем рассказывать сам».
В 1845 году случился скандал, в котором пострадала репутация Толстого. Некто Головин издал во Франции книгу «Россия Николая I», Толстой откликнулся на нее критической статьей, а обиженный Головин опубликовал ему ответ, в котором прямо называл его сотрудником Третьего отделения. К этим обвинениям присоединилась немецкая газета «Аугсбургер альгемайне цайтунг», назвав его человеком без всякой официальной должности, но стоявшим выше русского посольства в Париже. Яков Николаевич был вынужден на время уехать в Лондон, а когда в 1847 году скандал утих, он вернулся во Францию, где Бакунин и Анненков выступили в его поддержку, а Анненков даже пытался переубедить Маркса изменить о Толстом свое мнение. Возможно, писал Анненков Марксу, что тот перепутал «честного, простого и прямого» Якова Николаевича с каким-нибудь однофамильцем — Толстых на Руси пруд пруди! Но Маркс не поверил.
Во время революции 1848 года новое революционное правительство обнаружило документы, свидетельствующие о возможных контактах французской полиции с Третьим отделением, которые шли через Толстого. Одновременно бывший посланник России в Турине и Штутгарте Обресков, «воодушевленный» революцией, опубликовал во французской прессе «анекдот» о Толстом, в котором разгласил доверенные ему по службе сведения о подлинной роли «литературного генконсула» при посольстве.
Но скоро революция пошла на убыль, в госучреждения Франции вернулись старые друзья и контакты Толстого, обстановка вокруг него нормализовалась, а его деятельность на поприще «плаща и кинжала» возобновилась с удвоенной энергией. С марта по декабрь 1848 года он вел постоянное визуальное наблюдение за событиями на улицах Парижа, широко и смело использовал имевшуюся у него на связи агентуру и в результате снабжал Петербург подробной и достоверной информацией о положении в стране. Он чуть ли не ежедневно отправлял в Россию кодированные депеши, задействовав дополнительный канал связи через Брюссель (парижский канал перлюстрировался и был ненадежен). В марте 1848 года Толстой представил в Петербург список нового республиканского правительства Франции, снабдив его подробными характеристиками, за ним последовали материалы о расстановке политических сил в парламенте, а накануне военных действий России в Венгрии он направил обзор по французской армии с данными о ее численном составе и дислокации до батальона включительно, о ее вооружении, материальной части, бюджете и настроениях. Я. Н. Толстой точно и заранее спрогнозировал приход к власти Луи Бонапарта (Наполеона III).
При новом режиме прежняя деятельность Толстого по оказанию выгодного для России влияния на общественный климат Франции стала невозможной и агент переключился на добычу политической информации. В 1850 году он стал посылать тревожные сообщения о росте русофобии в Великобритании, озабоченной усилением позиций России в Европе и Азии, в письме от 27 марта он впервые упомянул о намерениях англичан уничтожить русский флот и сжечь Севастополь. Сменивший графа Бенкендорфа граф А. Ф. Орлов интереса к работе и информации Я. Н. Толстого, к сожалению, не проявлял… А сведения, добываемые агентом-разведчиком, шли между тем прямо из министерств, сената и парламента Франции. Прошел целый год, прежде чем в Петербурге поняли серьезность положения России. Крымская война была уже не за горами…
В 1854 году Я. Н. Толстой заблаговременно отошел на запасные позиции и переехал в Бельгию: он был уверен, что разрыв дипломатических отношений Франции с Россией был вопросом времени. Здесь он активно сотрудничал со своим информатором, правительственным чиновником Вальферсом, добывавшим ценную и актуальную информацию о Франции. Деятельность Толстого в Севастопольскую кампанию — особая глава. Еще в конце 40-х годов ему удалось завербовать некоего Паскаля, секретаря французского военного теоретика генерала Жомини. При Наполеоне III Паскаль стал его военным секретарем и наиболее осведомленным агентом России в окружении императора! Сколько бумаг из французского штаба и правительства оказалось в это время в Петербурге!