Конница противоборствующих сторон столкнулась, сеча началась страшная. Со стен города за боем смотрели пешцы и городское ополчение, за русскими смотрели и поддерживали наши пешцы, пушкари, обозники.
Фёдор ситуацию с уязвимостью смолян просёк. Скомандовал стрельцам:
– Заряжай!
Когда все исполнили команду, повёл их за собой, забирая левее, обходя дерущихся. Он полагал подобраться поближе к открытым воротам города. Повезёт – захватить, в худшем случае нанести защитникам значительный урон, когда смоляне будут возвращаться. В победе русских Фёдор не сомневался, слишком велик перевес. Но полк его добраться до ворот не успел. Смоляне, неся большие потери, стали пятиться, а потом вовсе побежали. Фёдор приказал остановиться, строиться в шеренги, а стрелять команды не дал, слишком далеко, шагов четыреста-пятьсот. На такой дистанции пули теряют убойную силу, и стрелять – попусту жечь порох.
За смолянами неслись русские, задумав ворваться в город на плечах отступающего противника. Но горожане, впустив большую часть своей конницы, ворота заперли. Тех всадников, что не успели укрыться за стенами, русские добили или взяли в плен. Со стен городских стали стрелять из луков, палить из малых пушек и пищалей. Русские во избежание потерь отошли от города на безопасное расстояние. В войске Василия радостное возбуждение, смолянам нанесён серьёзный ущерб в людях. Воевода Даниил Щеня послал к Великому князю гонца, и через несколько дней Василий сам прибыл к Смоленску. К сожалению, дальнейшая осада успеха не принесла. Горожане заделывали пробоины в стенах, а воевода смоленский Глебович вылазок больше не предпринимал.
Опустошив окрестности города, войско Василия сняло осаду и в начале ноября возвратилось в Москву. Царь был вне себя от злости. Ни отец, ни он не могли покорить Смоленск. Василий ушёл вовремя. Сигизмунд за четыре недели осады Смоленска успел собрать 30-тысячную рать и готовился идти к Смоленску. А ещё с наступлением осени «подоспели дни студёные, а корму конского скудно было», как писал монах, автор «Повести о Смоленском взятии».
И Сигизмунд, и Василий понимали, что уход русских войск – это только передышка. Напряжение между Литвой и Москвой нарастало. Мелкие стычки на границе, слухи о насильственной смерти в Литве вдовствующей великой княгини, сестры Василия, Елены Ивановны и отказ Москвы выдать Литве князя Михаила Глинского, устроившего в 1507–1508 годах мятеж, а также заключение Литвой союза с Крымом против Москвы разрядке не способствовали. Кроме того, Великий князь считал Смоленск своей вотчиной, поскольку смоленский князь Юрий Святославич после захвата его града и земель бежал в Москву и принял над собой руку Великого князя и крест на том целовал.
Сигизмунд поход Василия ожидал, но не так скоро. Он успел снабдить гарнизон порохом в достаточном количестве и пищалями. Кроме того, заменил воеводу, им стал Юрий Сологуб.
В феврале 1514 года Великий князь решился на новый поход на Смоленск. Через Михаила Глинского из немецких земель были приглашены несколько наёмников, в том числе опытные пушкари во главе со Стефаном. Чтобы обезопасить себя от вероятного нападения крымчаков, заранее отправили полки в Рязань, Серпухов и на Угру. А ещё пять полков отправили в Тулу. Не случись нападения, они могли быстро быть переброшены под Смоленск. Так же были приняты меры обезопасить русское войско от удара с запада ратью Сигизмунда. Новгородским наместникам Василию Шуйскому и Ивану Морозову приказали идти 7 июня на Оршу.
В начале июня во главе малой рати к Смоленским посадам подошло войско Даниила Щени. Пока ратники возводили туры и рогатки, Михаил Глинский начал вести тайные переговоры со знатными смоленскими людьми, склоняя их к сдаче города.
Сам Василий с братьями Юрием и Семёном выступил с большим войском из Москвы 8 июля. Войско было велико, до восьмидесяти тысяч. В их основе было две тысячи служилых татар и огромный обоз с «пушками великими». В середине июля войско подошло к Смоленску, окружило город плотным кольцом, чтобы мышь не проскочила, не то что посыльный к Сигизмунду. Василий распорядился поставить шатры для себя и приближённых в виду города, чтобы самому наблюдать за осадой и штурмом.
После возведения укрепления 29 июля начался обстрел города из осадных орудий, в чём немало преуспел Стефан. Наёмник-пушкарь точно клал в цель одно ядро за другим. Стены города представляли тогда дубовые срубы, на манер избы сложенные, внутрь засыпалась и утрамбовывалась земля, а снаружи дубовые брёвна обмазывали толстым слоем глины от поджогов. Но ядра из «великих» пушек крушили прочный сруб. Пушки стреляли с утра до вечера. «…заколебалась земля и друг друга не видели, ибо весь град в пламени и дыму вздымался. И страх великий напал на горожан, и начали из града кричать, чтобы Великий государь пожаловал, меч свой унял, а бою велел перестать, и они хотят государю бить челом и град сдать».