Роль И.А. Вышнеградского в проводимых с 1863 года преобразованиях русской артиллерии и в реконструкции заводов артиллерийского ведомства весьма велика. Крупнейшие заводы артиллерийского ведомства реконструировались по его проектам, и внутреннее оборудование многих других заводов и мастерских было выполнено по его указаниям и чертежам. В своей речи о его деятельности В.Л. Кирпичёв говорил: «По чертежам покойного было исполнено много машин, преимущественно для артиллерийского ведомства, в котором он долгое время состоял главным механиком и для которого он устроил механическую часть многих технических заведений: орудийного, патронного, порохового заводов и др. Самой замечательной работой Ивана Алексеевича в области практического машиностроения была постройка Охтенского порохового завода, для которого покойный устроил двигатель (три турбины Жонваля по 140 сил каждая) и проволочную передачу работы от двигателя к отдельным пороховым фабрикам, выстроенным на протяжении нескольких вёрст, в расстоянии 25 сажен одна от другой, и многие исполнительные механизмы... Из числа исполнительных механизмов этого завода замечателен придуманный Иваном Алексеевичем пресс для изготовления призматического пороха — весьма остроумная автоматическая машина, которая была потом применена и на германских пороховых заводах».
Деятельность И.А. Вышнеградского в области практического машиностроения не ограничивалась артиллерийским ведомством. Им были выполнены многочисленные проектные работы для железных дорог (в том числе пристань в Рыбинске с механической перегрузкой грузов из барж в вагоны) и отдельных частных предприятий.
Начиная со второй половины 1870-х годов, И.А. Вышнеградский стал принимать участие в управлении железными дорогами и промышленными предприятиями (Юго-Западные железные дороги, Рыбинско-Бологовская дорога, Петербургское общество водопроводов и др.), занимаясь не только технической стороной их деятельности, но и их финансами, входя, как и всегда, во все детали административных, финансовых, в частности биржевых, операций. Постепенно он сокращал свои профессорские обязанности, передавая сотрудникам и ученикам свои курсы и руководство проектированием.
С начала 1880-х годов И.А. Вышнеградский начал выдвигаться как организатор технического образования в России и государственный деятель. В 1875 году он был назначен директором Петербургского технологического института, профессором которого состоял с 1862 года. В 1881 году этот институт был передан из Министерства финансов в Министерство народного просвещения, и И.А. Вышнеградский принял участие в делах этого министерства. После работ по пересмотру университетского устава, по пересмотру устава реальных училищ, по устройству Всероссийской промышленно-художественной выставки в Москве (1882) он организовал (1883) при Учёном комитете Министерства народного просвещения отделение по техническому и профессиональному образованию. В 1884 году в качестве члена Совета Министерства народного просвещения И.А. Вышнеградский составил проект развития профессионального образования в России. Этот проект, представляющий значительный интерес во многих отношениях, предусматривал как подготовку инженеров с высшим образованием и техников со средним образованием, так и широкую подготовку мастеров и квалифицированных рабочих различных специальностей.
С некоторыми изменениями он позднее был принят и коренным образом улучшил дело среднего и низшего профессионального образования в России. Особо следует отметить участие И.А. Вышнеградского в реорганизации Петербургского и в создании Харьковского технологических институтов.
В 1887 году И.А. Вышнеградский был назначен управляющим Министерства финансов, а через год — министром финансов. Ему удалось при помощи ряда жёстких мер добиться отсутствия дефицита в государственном бюджете России. Он организовал при Министерстве финансов Департамент железнодорожных дел, провёл ряд мероприятий по упорядочению в интересах государства железнодорожных тарифов и предпринял ряд существенных шагов, направленных к переходу частных железных дорог в руки государства.
И.А. Вышнеградский разделял точку зрения тех кругов, которые считали, что Россия может быть действительно самостоятельным и сильным государством лишь в том случае, если она будет страной не только земледельческой, но и промышленной, и при нём Россия круто повернула таможенную политику, перейдя к системе таможенных пошлин, охраняющих отечественную промышленность. Проведённый им тариф 1891 года необычайно затруднил распространение германских фабрикатов на русском рынке и вызвал таможенную войну с Германией. При И.А. Вышнеградском она не была закончена, но в итоге завершилась благоприятным для России торговым договором 1894 года.