С 1886 года Гучков неоднократно избирался в Москве почетным мировым судьей. В 1893 году стал членом московской Городской управы, а в 1896–1897 годах исполнял обязанности заместителя городского головы Москвы. Вскоре Александр Иванович становится гласным городской думы. Казалось, ему уготована блестящая карьера государственного чиновника или московского головы. Но в 34 года он круто изменил свою судьбу – бросив московский «бомонд», вернулся на военную службу. В 1897–1899 годах Гучков служит в охранной страже КВЖД в Маньчжурии офицером казачьей сотни. Из армии он был изгнан за вызов на дуэль одного из инженеров КВЖД. Вообще Александр Иванович, обладая взрывным и эксцентричным характером, в молодости считался не только «светским львом», но и дуэлянтом, на его счету было шесть состоявшихся дуэлей и несколько несостоявшихся из-за отказа противников стреляться. Позже у Гучкова случались частые конфликты даже с депутатами Думы – он вызвал на дуэль лидера кадетов Милюкова, стрелялся с графом Уваровым.
После ухода из армии, в 1899 году, Александр Гучков вместе с братом Федором отправился волонтером на англо-бурскую войну в далекую Южную Африку. Он воевал против англичан на стороне буров, был ранен в ногу (после чего всю жизнь прихрамывал), некоторое время томился в плену у англичан.
В 1900 году Гучков уехал в Китай, где стал свидетелем «боксерского восстания» китайцев против англичан и французов. А в 1903 году Александр Иванович успел повоевать и в Македонии «за свободу южных славян от турецкого ига». Витте так характеризовал Гучкова: «Любитель сильных ощущений и человек храбрый». Женившись на дочери предводителя Старобельского дворянства Марии Зилотти, Гучков, казалось, остепенился. Вскоре в семье появилось двое детей.
В начале 1904 года разразилась Русско-японская война, и Гучков устремился на фронт как помощник главноуправляющего обществом Красного Креста. Во время Мукденского сражения он находится среди солдат, а после бегства русских из Мукдена остается с ранеными в брошенном Мукдене, добровольно сдавшись в плен японским войскам.
Из плена в революционную Москву Гучков вернулся в мае 1905 года. Городская дума тогда была чуть ли не центром революции, а сам Александр Иванович стал признанным лидером российских либералов-конституционалистов. Он с восторгом встретил царский манифест 17 октября 1905 года, в котором увидел главное завоевание революции – «добровольное отречение монарха от прав неограниченности монархии». В октябре 1905 года Гучков становится одной из самых крупных политических фигур России – главой партии октябристов «Союз 17 октября». В мае 1907 года он был избран в Государственный совет, но в октябре 1905-го отказался от этой чести, однако в сентябре 1915 года был снова переизбран. Александра Гучкова избрали в Государственную думу 3-го созыва, а с марта 1910 года по март 1911 года он был председателем Третьей думы.
В 1912 году Гучков получил звание действительного статского советника. Он подал в отставку с поста председателя Государственной думы в знак протеста против принятия Думой столыпинского закона о земстве в западных губерниях. В то же время с премьером Столыпиным у Гучкова были личные приятельские отношения. Еще в 1907 году Столыпин предлагал ему пост министра торговли и промышленности в своем кабинете.
В Третьей думе Александр Гучков возглавил комиссию по государственной обороне и фракцию партии октябристов, которая боролась за конституционную монархию при сохранении «единой и неделимой Российской империи». Уже с 1908 года Гучков остро критикует монархию, царя и «придворную камарилью», а несколько позже становится одним из главных обличителей царского фаворита Григория Распутина, вызвав ненависть венценосных супругов. Жена императора Александра Федоровна писала Николаю II: «Ах, если бы только можно было повесить Гучкова!», «Гучков работает против нашей династии». В то же время Гучков занимался предпринимательством, был директором крупного банка, ив 1917 году принадлежавшее ему имущество и банковские бумаги оценивались в миллион золотых рублей.
С началом Первой мировой войны, в роковом августе 1914-го, Гучков становится уполномоченным Красного Креста на фронте, организовывает госпитали и медицинскую службу, а в июле 1915 года он возглавил Центральный Военно-промышленный комитет. Осенью 1916 года Гучков вместе с влиятельными масонами Терещенко и Некрасовым готовил дворцовый переворот, в результате которого в России должна была быть установлена конституционная монархия и создано «ответственное перед народом правительство» при регентстве Михаила Романова.