В 2001–2002 годы одной из наиболее заметных проблем Министерства обороны стало бегство солдат из армии, в большинстве случаев из-за издевательств офицеров, «дедовщины», а также содержания на голодном пайке и других тягот службы. В 2001 году из армии дезертировало более 6 тысяч солдат, в 2002-м — около 6 тысяч. В 2002 году в конфликтах между военнослужащими вследствие неуставных отношений погибло около 70 человек. В Комитеты солдатских матерей за 2002 г. обратилось в общей сложности 2867 дезертиров. На очередное коллективное бегство 24 военнослужащих 4 января 2003 г. из воинской части в Ленинградской области Иванов отреагировал публичными обвинениями в адрес «так называемых комитетов солдатских матерей», само существование которых, по его мнению, провоцирует солдат на дезертирство. По мнению Иванова, эти комитеты финансируются из сомнительных источников («Кто их содержит, на что они живут, — это еще вопрос»).
В 2002 году Иванов вовсю практиковал «силовое комплектование» армии призывниками (массовые проверки и задержания лиц призывного возраста на улицах), опробованное осенью 2001 г. в Москве, на другие крупные города.
Иванов чаще своих предшественников говорил о коррупции в армии. Но он не воспользовался технологией, опробованной Борисом Грызловым в МВД, и не стал искать «оборотней в погонах». Несмотря на жесткие заявления, Иванов оказался очень мягким руководителем. Увольнял только в экстренных случаях, когда крайним мог оказаться он сам. После падения в Чечне Ми-26, повлекшего гибель 121 человека, Иванов снял с должности командующего авиацией Сухопутных войск Виталия Павлова, а за чуть не затонувший на Дальнем Востоке батискаф (моряков спасли британцы) — главкома ВМФ Владимира Куроедова. Однажды он сделал антирекламу подводным лодкам «Щука-Б», назвав их «самыми тихоходными в мире». Имелась в виду малошумность.
Но главное новшество в жизни Вооруженных сил — сокращение срока призыва до одного года — было проведено весьма дорогой ценой — путем отмены большинства отсрочек и возрождения практики отлова призывников с помощью милиции. «При нем все стало немножко получше, но кардинальных реформ в армии он провести не смог», — резюмировал Иван Сафранчук из американского Центра оборонной информации.
В Минобороны Иванову пришлось вести борьбу с начальником Генштаба Анатолием Квашниным, который в итоге был трудоустроен полпредом президента в Сибирь. Но стоило Иванову в ноябре 2005 года получить статус вице-премьера и надежду на роль преемника, как нашлись враги и крупнее.
В мае 2005 г. автомобиль, которым управлял 28-летний работник банка Александр Иванов, старший сын министра, насмерть сбил на пешеходном переходе 68-летнюю женщину. По информации ГИБДД Москвы, трагедия случилась в 22.15 на улице Лобачевского, возле дома № 92. Двигавшаяся от Мичуринского проспекта на большой скорости иномарка сбила переходившую дорогу по пешеходному переходу Светлану Беридзе. От полученных травм пенсионерка скончалась на месте. Удар оказался настолько сильным, что женщину отбросило от «зебры» метров на десять. Молодой человек, сидевший за рулем иномарки, отделался ссадинами и испугом. Как рассказывают сотрудники ГИБДД, возмущенные родственники погибшей тут же вытащили его из машины и попытались устроить самосуд, но за водителя вступился оказавшийся рядом экипаж ДПС — милиционеры затолкали мужчину в свою машину и повезли на освидетельствование в наркологический диспансер.
После того как стало известно, что участником ДТП стал старший сын министра обороны России Сергея Иванова, на место происшествия выехали крупные чиновники из управления ГИБДД и ГУВД Москвы. С этого момента об обстоятельствах аварии данные стали поступать противоречивые. РИА «Новости», например, сообщало, что пожилая женщина переходила дорогу на красный сигнал светофора. Впоследствии дело закрыли за отсутствием нарушений, а также состава преступления в действиях водителя. Сейчас Александр Иванов работает директором департамента структурного и долгового финансирования «Внешэкономбанка», в состав наблюдательного совета входит и его отец.
Сергей Иванов-младший также не служил в армии. Он работает в «Газпромбанке»: в январе 2005 года назначен на должность вице-президента «Газпромбанка», а в феврале 2008 года его повысили до члена правления и первого вице-президента. В этой должности Иванов курировал клиентский блок банка и отвечал за развитие клиентской политики в корпоративном секторе. Сын вице-премьера также является акционером «Газпромбанка» — ему принадлежит 0,113 % акций. Иванов по совместительству является членом совета директоров ЗАО «Армяно-Российский экспортно-импортный банк — группа Газпромбанка», ЗАО «Газпромбанк лизинг», ЗАО «Группа Химмаш», ЗАО «Форпост-менеджмент», ОАО «Ижорские заводы», ОАО «Объединенные машиностроительные заводы», ЗАО «Атомстройэкспорт», ООО «Газпромбанк-инвест», Caibon Trade & Finance SIGAR S.A., а также занимает пост заместителя председателя совета директоров ЗАО АКБ «Сибирьгазбанк».