В отличие от большинства своих коллег по эстрадному миру, которые имели по нескольку жен, Сергей Захаров всю жизнь прожил с одной женщиной. Правда, в их долгой семейной жизни (более 35 лет) всякое бывало, однако, несмотря на разные передряги, их союз так и не распался. А начиналось все в начале 60-х, когда Сергей и Алла жили в Казахстане. Ему тогда исполнилось 13, она была на два года старше. Молодые люди познакомились на танцах, причем инициатива знакомства исходила целиком от Захарова: бездонные глаза девушки пронзили его сердце насквозь. А когда Алле исполнилось 18 (Сергею, стало быть, было 16), влюбленные стали жить гражданским браком. Это случилось уже на Украине, в городе Николаеве, куда их родители переехали в середине 60-х. Вспоминает сам Захаров: «Может быть, многие родители меня осудят, но, думаю, чтобы проверить себя, сначала стоит пожить в гражданском браке. Одно дело свидания, другое – совместный быт: через месяц любовь, как правило, улетучивается. У нас не улетучилась. Мы в итоге поженились, и вскоре у нас родилась дочка Наташа».
В 1968 году Захарова призвали в армию, в ракетные войска. Алле с дочерью повезло: за отменные успехи на творческом поприще (Сергей был запевалой в армейском ансамбле) его уволили на полгода раньше срока. Чуть позже судьба их снова развела: жена с дочерью уехали жить во Владимир, а Захаров отправился покорять Москву. Он устроился солистом в знаменитый тогда ансамбль Кадырского, который играл в самом большом столичном ресторане «Арбат». Но как только у Сергея выдавалась свободная минута, он сразу мчался к семье во Владимир.
В 1970 году Захаров перешел в ансамбль Леонида Утесова. Прославленному мэтру ни за что не удалось бы переманить к себе молодого артиста со столь «хлебного» места (в ресторане Захаров за один вечер получал 25 рублей!), если бы он не пообещал Сергею свою помощь в получении прописки и квартиры в Москве. Захаров ведь спал и видел, как бы воссоединиться с семьей. Но Утесов обманул: талантливый молодой певец был нужен ему исключительно для того, чтобы «закрыть дыру» в оркестре, которому предстояли многомесячные гастроли по стране. Никакой квартиры Сергей не получил, да и зарплату ему обещали выплатить только после гастролей. А те длились аж полгода! В итоге за прогулы Захарова отчислили из Гнесинки, пообещали выгнать и из общежития. Вылет из «Арбата» существенно ударил его по карману: с 25 «ресторанных» рублей он опустился до 6 «концертных». Короче, полный облом по всем статьям. В итоге в 1973 году Захаров ушел в Ленинградский мюзик-холл. А вот там его дела уже явно пошли в гору: он стал ведущим солистом, получил однокомнатную квартиру с мебелью и прописку в городе на Неве. Молодая семья воссоединилась.
После того как в 1974 году Захаров победил сразу на двух престижных эстрадных фестивалях – «Золотой Орфей» и «Сопот-74», – он стал одним из самых популярных молодых исполнителей на советской эстраде. Одна за другой начали выходить пластинки с песнями в его исполнении, к активной пропаганде певца подключились и телевидение, и радио, и пресса. Высокий и стройный красавец, сладкоголосый баритон Сергей Захаров стал в Советском Союзе середины 70-х годов одним из самых знаменитых певцов. Однако с честью пройти сквозь «огонь, воду и медные трубы» Захарову не удалось: в марте 1977 года он «по пьяной лавочке» избил администратора Ленинградского мюзик-холла, за что был приговорен к году тюрьмы. Как будет потом утверждать сам певец, эта «посадка» была явно заказной. Дескать, 1-й секретарь Ленинградского обкома КПСС приревновал его к певице Людмиле Сенчиной и дал команду убрать соперника. Однако даже если это и правда, вины с певца это все равно не снимает: он тогда действительно здорово зазнался. Еще за год до драки по стране широко ходили слухи о пьяных дебошах Захарова, а про один из них (в гостинице «Россия») даже написала газета «Советская культура». Короче, Сенчина не Сенчина, но Захаров давно ходил «под статьей», что сам, кстати, и признает. В одном из интервью он заявил:
«Как ни странно, я даже благодарен тем людям, которые меня посадили. К тому времени я очень устал. От внимания, от невозможности вести обычную, нормальную жизнь. Это была как кара за то малодушие, которое я проявил, не уйдя в оперу. Несмотря на успех, неудовлетворенность собой достигла какого-то критического момента. Ее надо было чем-то заглушить, и я очень серьезно увлекся алкоголем. Жизнь рушилась. Еще немного, и я бы просто сгорел. Доходило до того, что я совершенно не помнил, что было вчера, позавчера…»
Отбывать наказание Захарова отправили в город Сланцы. Работал на «химии» на стройке. Потом перевелся на родину – в питерские «Кресты». На свободу вышел в 1978 году, причем выпустили его за три дня до положенного срока, чтобы избежать у тюрьмы толпы встречающих.