Путилов стоял у истоков создания в России стальных нарезных орудий – судовой артиллерии нового типа. На тот момент поставками артиллерии для русских броненосцев монопольно занималась династия Круппов. Тем временем на Урале полковником Обуховым была создана сталь, не уступавшая по качеству крупповской. Упругость ее, как писали тогда, «превосходила всякую вероятность». В 1863 году Путилов совместно с Обуховым организовали металлургический завод, после смерти полковника названный Обуховским. Трудностей было достаточно, но этот путь вел к зависимости русской морской артиллерией от поставок Круппа. Чуть позже Путилов основал уже свой собственный завод, который впоследствии назвали Путиловским. На данном заводе было организовано оружейное производство и выплавка стали. Более того, объемы позволяли начать экспорт российской стали. Страна, наконец, покончила с зависимостью от Англии, сократив заказы стальных орудий из-за рубежа снизились с 88,5 % до 17,7 %.
Суровая русская погода зимой 1867–1868 годов привела к тому, что железнодорожные рельсы, сплошь поставляемые иностранцами, полопались и все внутреннее сообщение в стране было парализовано. Находчивый Путилов обратился к министру путей сообщения П.П. Мельникову с предложением организовать производство железнодорожных рельс для нужд отечественного транспорта из русских материалов и привлечением местной рабочей силы. Путилову был передан в долг железоделательный завод на берегу Финского залива, который в счет будущих поставок имел право монопольно использовать отслужившие свой срок железнодорожные рельсы. Таким образом, Путилов первым в России организовал промышленную переплавку металлического лома.
Путилову был выдан немалый кредит под условие, что запуск завода должен был состояться в течение месяца. Не останавливая производство, Путилов начал реконструировать завод. Он руководил всем процессом перестройки и запуска, не скупился на затраты, приглашал к себе лучших специалистов. Предприниматель вербовал рабочих и из числа крестьян. При строительстве завода была отработана схема запуска производства в кратчайшие сроки, получившая название «путиловской»: в начале января Путилов получил права на завод, а уже в 20-х числах предприятие начало работать в 3 смены. Сдавали по 5000 пудов рельсов в сутки. Через год завод вышел в лидеры по сравнению с другими металлургическими предприятиями в России.
На испытание первых образцов продукции приехал сам великий князь Константин Николаевич, который был весьма впечатлен результатом, особенно в сравнении с неудачами английских рельс.
Через год на заводе числилось две тысячи рабочих. Там работало несколько мастерских: прокатные, литейные, механические и бессемеровские кузницы. В семидесятые годы XIX века было начато строительство сталелитейной и мартеновской мастерской. Путиловский завод стал основным поставщиком разнообразной продукции для активно развивающегося железнодорожного транспорта – рельсы, вагоны, паровозы, мостовые фермы. Это было самое большое и современное машиностроительное предприятие России.
Первоочередной задачей Путилов определил себе обучение рабочих. С этой целью при заводе открывается школа и вечерние классы для взрослых, где преподают важные для производства предметы: черчение, геометрию, технологию. Это была первая на тот момент школа в Петербурге, которая вскоре была преобразована в техническое училище.
Путилов занимался и обустройством быта рабочих, строил общежития и больницы, находил средства для того, чтобы упорядочивать снабжение продовольствием. При заводе было организовано общество потребителей.
Со временем оно разрослось и включало в себя четыре магазина, столовую, дровяной склад и квасоварню.
Одновременно Путилов расширял производственные мощности, наращивал выпуск продукции, увеличивал ассортимент. В 1870 году в прокатной появился бессемеровский конвертор для литья стали и артиллерийских снарядов, которые изготавливали по технологии Путилова. Очередные испытания продемонстрировали их превосходство по качеству перед снарядами Круппа.
Ассортимент выпускаемой на заводе продукции постоянно расширялся: здесь изготавливались перекрытия и опоры для мостов, инструменты, узлы для паровозов, разнообразные грузовые и пассажирские вагоны. На заводе приступили к закладке каменной механической мастерской для производства собственных паровозов. Чтобы не зависеть от поставщиков, Путилов заложил собственную железнодорожную ветку, которая соединила предприятие с главными магистралями России. К этому времени завод считался был старейшим и самым крупным металлургическим предприятием в стране.