Свидетельства высокой оценки деятельности Герасимова – получение в 1905 г. «вне правил» чина полковника, а в 1907 г. – чина генерал-майора; среди наград – ордена Святого Владимира 3-й степени и Святого Станислава 1-й степени. Однако карьера Герасимова как руководителя политического сыска, находившегося на пике влияния и служебной славы, оборвалась весной 1909 г. Получив согласие Столыпина, Герасимов удалился в четырехмесячный отпуск – ссылаясь на то, что за четыре года руководства Петербургским охранным отделением ни разу не был в отпуске и подорвал здоровье. Впрочем, уход в отпуск последовал вскоре после разоблачения провокаторской деятельности Азефа в партии эсеров, что сопровождалось и резонансным обсуждением в Думе. Столыпину пришлось взять под свою защиту Азефа как ценного секретного сотрудника и, отвергая использование приемов провокации, отстаивать право правительства задействовать агентуру в революционных организациях в интересах государственной безопасности. В то же время проводились служебные расследования в отношении Герасимова, касающиеся взаимоотношений охранки и Азефа. Расследовались также загадочные обстоятельства убийства агентом-провокатором полковника С. Г. Карпова – преемника Герасимова на посту начальника Петербургского охранного отделения. Если бы не личное покровительство Столыпина, то результатом проверок, а также интриг со стороны влиятельных придворных кругов, могло стать предание Герасимова военному суду. В итоге, возвратившись из отпуска, Герасимов не получил обещанного Столыпиным места товарища министра внутренних дел (он был вынужден согласиться с назначением на эту должность П. Г. Курлова). С осени 1909 г. Герасимов – генерал для особых поручений при министре внутренних дел. Первоначально получал отдельные задания и направлялся в командировки для инспектирования охранных отделений. В частности, Герасимовым была отмечена слабая работа Киевского охранного отделения под руководством подполковника Н. Н. Кулябко (в том числе «ненормальная» постановка дела при работе с секретной агентурой). Но затем в течение почти двух лет, вплоть до убийства Столыпина, по распоряжению Курлова он был практически отстранен «от каких бы то ни было служебных обязанностей». Подав рапорт об увольнении, в январе 1914 г. Герасимов получил чин генерал-лейтенанта и ушел в отставку с мундиром и пенсией.
В дни Февральской революции Герасимов был арестован и содержался 10 дней в «министерском павильоне», а затем в «Крестах». Освобожденный по ходатайству В. Л. Бурцева, он вскоре вновь был задержан по распоряжению Чрезвычайной следственной комиссии и помещен в Трубецкой бастион Петропавловской крепости. После Октябрьского переворота освобожден и в мае 1918 г., предупрежденный о предстоящих арестах одним из своих знакомых, находящихся на службе у большевиков, выехал на Украину. В эмиграции проживал в Берлине. Работал над воспоминаниями, которые в 1933 г. начали частично публиковаться в русскоязычной печати в Харбине и Нью-Йорке, а в 1934 г. были изданы отдельной книгой на немецком и французском языках. Занимался бухгалтерскими делами в мастерской дамского платья, принадлежавшей супруге. Активного участия в общественной жизни русского зарубежья не принимал, тем не менее производил впечатление хорошо знакомого с текущей политикой, умного и интересного собеседника. Р. Б. Гуль, познакомившийся с Герасимовым в 1920-х годах в Берлине, в одном из русских пансионов, вспоминал: «Среди обедавших я невольно обратил внимание на пожилого, с проседью, крепкого человека, с заклиненной седоватой бородкой, по-военному выправленного так, что если бы обедавшие и не обращались к нему ваше превосходительство, я сразу бы определил его как военного. Штатский костюм сидел на нем, как мундир. Но генерал привлек мое внимание не внешностью, а суждениями. Разговоры за столом шли, конечно, о политике. К его превосходительству обращались с вопросами. И всегда все, что говорил этот генерал, было умно, остро, было видно, что генерал политически весьма ориентирован и со своим мнением. По войнам (мировой и гражданским) я знавал русский генералитет, и надо честно сказать, что наши генералы в подавляющем большинстве были политически невежественны (в противоположность иностранным военным)…» (Гуль Р. Б. Я унес Россию: Апология эмиграции. М., 2001. Т. 1. Россия в Германии. С. 152). Герасимов похоронен в пригороде Берлина, на русском православном кладбище в Тегеле.
Фрагменты воспоминаний А. В. Герасимова публикуются по первому изданию, вышедшему на русском языке в 1985 г. в Париже, в издательстве YMCA-PRESS: