Торгово-промысловая деятельность ореховцев год от года расширялась, а сам Орешек в середине XVI века претендовал на роль крупнейшего русского порта. Он находился на скрещении сложившихся и регулярно действовавших морских и сухопутных путей, связывавших Россию с Балтийским морем и западной Финляндией. Однако начавшаяся в 1568 году опричнина и участившиеся вражеские набеги непоправимо подорвали экономику города и его округи. В Обыскных книгах 1573 года упоминаются и деревни Ореховского уезда. Сведения о них пестрят пометками: запустела «от свейских немец», «от опричного правежу», «от мору», «от государевых ратных людей и татар». Около 1570 года «деревни стояли не паханы и не кошены», «крестьяне обнищали и разбежались безвестно», «волость выжгли, людей побили, а животы немцы поймали». В самом Орешке в 1572 году из 139 тягловых (т. е. обложенных податью) дворов обитаемыми были лишь 19, остальные стояли пустыми. Обезлюдение Орешка и его округи достигло катастрофических размеров. Но еще большие превратности ожидали его впереди.
Под властью шведской короны
Воевода Орешка Михаил Глебович Салтыков в 1607 году получил письмо от шведского короля Карла IX, который предлагал перейти под его власть и обещал наградить так щедро, что «будут благодарить шведского короля и он, и его дети, и дети его детей». Год спустя король вновь обращался к воеводе и, намекая на тяжелое положение Москвы, с иронией спрашивал: «Кто не знает, что Россия… своей силой страшна не одной Польше, а всему свету, и что же?» Ничего не добившись дипломатическими диверсиями, враги прибегли к силе. В ноябре 1610 года Карл IX приказал войскам «попытать счастья у Нотебурга».
К концу 1611 года шведы, воспользовавшись тяжелым положением России в связи с иностранной интервенцией, под предлогом «помощи» захватили большую часть Новгородской земли с крепостями Корелой, Ямой, Ивангородом. В Новгороде стоял наемный иноземный корпус под командованием Якова Делагарди — сына Понтуса Делагарди, известного русским по Ливонской войне.
23 февраля 1611 года Делагарди пытался овладеть Орешком, установив батарею на Монашеском острове. По словам автора «Истории шведско-московской войны» Иоганна Видекинда, наступающие, «подведя петарды, взрывают двое передних ворот, но там тотчас опускаются третьи, железные, которые не поддаются действию петард и не дают доступа осаждающим. Поэтому шведы вынуждены отступить, потеряв 20 человек убитыми и нескольких ранеными».
Из этих описаний видно, что главный удар штурмующих был направлен на Воротную башню, наружный вход в которую действительно прикрывали поднятый мост, за ним ворота и, наконец, опускная решетка.
После захвата Ладоги в конце сентября 1611 года шведы подтянули значительные силы и блокировали подступы к Орешку. На этот раз захватчики решили, что ореховскую твердыню можно сломить не штурмом, а голодной блокадой.
Новый командующий осадой будущий фельдмаршал Эверт Горн после 30 ноября предложил осажденным «хорошие условия» капитуляции. От горожан требовали подчиниться королевскому наместнику и принять шведский гарнизон. Но защитники острова — стрельцы — наотрез отказались сдать крепость. Более того, ореховцы, пользуясь потайной гаванью, на ладьях и лодках делали вылазки нападали на шведов. Однако к апрелю 1612 года из-за нехватки продовольствия положение стало критическим. Наступил голод, стали свирепствовать болезни. Как писал Видекинд, из 1300 защитников осталось едва ли больше сотни, и 12 мая крепость была сдана.
Шведский гарнизон первоначально насчитывал 200 человек. Все оставшиеся в живых русские согласно королевскому указанию были изгнаны из крепости, которая стала называться по-шведски Нотебургом.
В 1617 году почти все русское население Орешка, воспользовавшись условиями Столбовского мира, заключенного между Россией и Швецией, покинуло родные места.
Героическая оборона Орешка, длившаяся много месяцев, явилась ярким подвигом русского народа в борьбе с иноземными захватчиками в начале XVII века. Город сопротивлялся дольше других взятых шведами городов Ижорской земли (Ямы, Копорья, Ивангорода, Гдова, Ладоги, Корелы).
В те трудные дни вновь подтвердились блестящие военные качества оборонительных сооружений, уже просуществовавших более ста лет. Захват шведами Орешка нанес России тяжелый урон. «Русские совершенно отрезаны от Балтийского моря», — заявил шведский король Густав-Адольф. Москва неоднократно предпринимала дипломатические попытки вернуть Орешек, но они не дали результатов. На 90 лет захватчики оккупировали исконно русскую твердыню.