Но дело Мясоедова, широко раздутое прессой, которое обсуждалось на каждом углу, вызвало такое возмущение армейской массы и офицеров, широких слоев населения, что обстановка накалилась до крайних пределов. Безусловно, все это отражалось и на отношениях к Сухомлинову, тем более что он оказался лицом, проходящим по делу не только Мясоедова. Полковник Иванов был у Сухомлинова лицом приближенным и специалистом по артиллерии и укреплениям. Он оказался настоящим шпионом, передававшим противнику секретные военные сведения. При обыске, произведенном в 1915 году, на квартире Иванова было найдено 26 различных служебных документов военного ведомства. Среди них фотоснимки установок орудий, чертежи башенных установок, секретный журнал вооружений Кронштадтской крепости, планы пороховых складов, ряд планов крепостей и секретные карты пограничных районов. Были найдены письма с условностями и другие документы.
Авторитет и престиж военного министра стремительно падали. Но не только из-за дел Мясоедова, Иванова и других. Сказывалась ужасная неподготовленность России к войне.
1 сентября 1914 года Главное артиллерийское управление сообщило начальнику штаба Верховного главнокомандующего, что "никакого запаса огнестрельных припасов не существует". Накопленных в мирное время запасов хватило лишь на один месяц, а новые снаряды не поступали. И вместе с тем 15/28 сентября 1914 года Сухомлинов пишет французскому послу Палеологу: "…настоящее положение вещей относительно снаряжения российской армии не внушает никакого серьезного опасения. В то же время военное министерство принимает все необходимые меры для обеспечения армии всем количеством снарядов, которое ей необходимо, имея в виду возможность длительной войны и такой расход снарядов, какой обозначился в недавних боях".
После "дела Мясоедова" и в свете бедственного положения фронтов обвинителем Сухомлинова выступил Верховный главнокомандующий великий князь Николай Николаевич. Уступая общему желанию, Николай II 13 июня 1915 года уволил Сухомлинова с поста военного министра, и правительство решило наконец расследовать деятельность органов военного министерства. 25 июня 1915 года с этой целью была учреждена верховная комиссия и начато следствие по обвинению Сухомлинова в "противозаконном бездействии, превышении власти, служебных подлогах и государственной измене".
Для последнего утверждения были основания. Арестованный в 1915 году австрийский шпион Ярош, он же Мюллер, дал показания о том, что ему известно, что Сухомлинов был австрийским шпионом, от него получено много важных сведений, но не лично, а через приближенных к нему людей. Допрос Мюллера проходил в Ставке, и Николай II знал его показания о Сухомлинове, но они были проигнорированы царем.
Однако возмущение в армии и народе было столь велико, и к тому же царю доложили, что союзники настаивают на аресте Сухомлинова и его безусловной причастности к шпионажу в пользу Германии, что 21 апреля 1916 года Сухомлинов был арестован и помещен в Трубецкой бастион Петропавловской крепости.
Арест Сухомлинова стал первым знаковым событием 1916 года. Вторым станет убийство Распутина. Царская империя шаталась. "В терновом венке революции грядет 16-й год", — писал В. Маяковский, ошибившись всего на один год.
Армия уже не могла подчиняться министру, который обвинялся в шпионаже, и новому Верховному главнокомандующему Николаю II (с 15 августа 1915 г.), жена которого тоже обвинялась в шпионаже.
Являлся ли Сухомлинов шпионом — это было уже не так важно. Австрийская и германская разведки выполнили свою задачу: верховная военная власть России была скомпрометирована.
Но дело Сухомлинова еще не закончилось. Царь вынес решение: "Ознакомившись с данными предварительного следствия верховной комиссии, нахожу, что не имеется оснований для обвинения, а посему дело прекратить. Николай" (телеграмма министру юстиции от 10 ноября 1916 г.).
Сухомлинов 11 ноября был освобожден из крепости, но по настоянию министра юстиции помещен под домашний арест.
Если в первый раз Сухомлинова спасли от суда царь, Распутин и дворцовая клика, то во второй раз его спас Керенский.
Имя Сухомлинова в сознании солдат было связано с рядом самых гнусных предательств. Солдаты в первый же день свержения самодержавия стали искать Сухомлинова, чтобы он ответил за свои злодеяния. Монархист-черносотенец, один из друзей Сухомлинова, депутат IV Государственной думы Шульгин в своей книжке «Дни» описывает сцену спасения Сухомлинова Керенским: