Защитники города видели приготовления, с утра заняли позиции на стенах. Фёдор расположил своих стрельцов через каждую пару саженей, а между ними ещё и лучники городские, и дружина Шуйского. Пушкари зарядили пушки не ядрами, а свинцовым дробом и сейчас выжидали. Когда пехота подошла саженей на двести, пушки ударили залпом. Стена крепости окуталась дымом, а когда его снесло в сторону, защитники увидели множество убитых и раненых. Но пехота, подгоняемая десятниками и сотниками, продолжала бежать к городу. Лучники стали осыпать наступающих стрелами. По литовцам получалось удачно, а наёмники имели латные доспехи и стрелы большого ущерба не причиняли. Наёмники приободрились, начали победно вопить. И тут Фёдор сделал отмашку. До пехоты было саженей пятьдесят-шестьдесят, а пули пищальные были тяжелее стрел, мяли латы, сбивали с ног. Дистанция невелика, и промахов у стрельцов было мало. До городской стены добежали не-многие, штурмовать не решились ввиду своей малочисленности, повернули назад. Причём, убегая, не помогали своим раненым товарищам, бросая их на поле боя. Защитники города лихорадочно перезаряжали оружие. Если на пищали это проделать было относительно быстро, за минуту, либо немногим больше, то пушки требовали значительного времени. Для начала прочистить ствол банником от тлеющих остатков несгоревших пороховых зёрен или пыжей, засыпать шуфлой мерку пороха, прибить банником, затем забить пыжи, потом снаряд – ядро или дроб, ещё один пыж. На полку казённика подсыпать затравочного пороха, и только тогда пушка готова к выстрелу. Так ещё и навести на цель надо, раскалённый запальник поднести к пороху на полке. В общем, хлопотно, суетно и небыстро.
Все защитники ждали, что воины Острожского снова пойдут в атаку. Горели жаровни у пушек, грели запальники, тлели фитили на пищалях, но войско противника в этот день атаку не повторило. Видимо, потери были столь чувствительные, что надо было время для перегруппировки. А только подмоги не было.
На ночь на стенах остались усиленные караулы. Шуйский опасался ночной вылазки, но ночь прошла спокойно, как и последующий день.
Бросать всадников на крепостные стены бессмысленно, а пехота, понеся потери, геройствовать больше не желала.
Атака повторилась через несколько дней, прошла по такому же сценарию. Сначала обстрел города из пушек, ответная стрельба по польско-литовским батареям, причём довольно действенная. Затем атака пехоты, как и в предыдущий раз неудачная. Потеряв до половины численности, пехота отступила. Острожский, воевода опытный, ещё после первого неудачного штурма понял, что город имеющимися у него силами не взять. Но и уйти сразу после первой неудачи – значит навлечь на себя гнев короля. После победы над русскими под Оршей Острожский и так чувствовал себя победителем, надеясь на награды от Сигизмунда.
Через несколько дней лазутчики доложили воеводе Шуйскому, что обозы противника уходят. Вслед за обозами ушла пехота, последними снялась из-под Смоленска конница.
Посланные дозоры доложили воеводе, что Острожский ушёл. Да и куда было деваться гетману, когда начала портиться погода, со дня на день пойдут затяжные дожди и похолодает. Кроме того, большая рать израсходовала почти всю провизию.
Шуйский тут же отрядил в Москву гонца известить Великого князя, что выстоял Смоленск осаду и урон немалый войску Сигизмунда нанёс.
Сигизмунд же после победы под Оршей написал императору Священной Римской империи о полном разгроме войск московского государя, значительно преувеличив число убитых и пленённых русских. Победа Сигизмунда была тактической, но не стратегической, Василий Иванович сохранил основное войско, но письмо Сигизмунда сыграло роль, Максимилиан не стал подписывать с Москвой союзного договора, посчитав Москву союзником слабым. Сигизмунд войско по возвращении распустил. Невозможно держать армию в постоянной готовности, это требует больших денег.
А в 1515 году собрать её не смог, чем воспользовался Великий князь. Василий Иванович вновь послал войска на Литву. Уже 28 января 1515 года псковский наместник отбил Рославль. К Мстиславлю ходил отряд Б. И. Горбатого и С. Ф. Курбского, к Белой и Витебску – отряд В. Д. Годунова, к Дорогобужу – Д. Щени. В феврале Василий Шуйский, сняв часть гарнизона из крепости, с отрядом лёгкой кавалерии прошёлся по литовской земле огнём и мечом, взял трофеи и пленных и без потерь вернулся в Смоленск. Вскоре его перевели в Великий Новгород. А полк Фёдора вернулся в Москву.
Между Литвой и Москвой в 1515 году происходили набеги, малочисленные, тактические.