Во второй половине XIII века Угличское княжество стало более обширным, включив в себя города Кашин, Бежецк, Железно-Устюг, Дмитров. Однако обычного в условиях роста феодального княжества строительства каменных зданий в резиденции князя летопись не отметила. В конце века княжество потеряло свою политическую самостоятельность, и Углич стал управляться ростовскими князьями, а в 1329 году перешел к московскому князю Ивану Калите и с тех пор подчинялся князьям, признающим старшинство Москвы.
Тяжелое время пережил город, когда тверской князь, борясь с Москвой за приоритет, предпринял в 1371 году военный поход против волжских городов, захватил Углич и сжег его.
Но после этого город, как важная пограничная крепость Московского княжества, был заново отстроен и укреплен настолько, что попытка тверичан захватить его в 1375 году не увенчалась успехом.
В начале XV века Угличем управлял младший сын Дмитрия Донского — Константин. При нем город экономически окреп, в нем даже чеканили свою монету.
Крупные политические события XV века, имевшие общегосударственное значение, коснулись и Углича.
В 1446 году Дмитрий Шемяка вновь разжег междоусобную феодальную войну, отвоевал Москву, захватил в плен московского князя Василия Васильевича, ослепил его и сослал в заточение в Углич. После того как Василий, прозванный Темным, вернулся на великое княжение, Угличем недолго управлял Василий Ярославович. После смерти Василия Темного в 1462 году город перешел к его сыну Андрею Васильевичу, получившему прозвание „Большой“ а затем „Горяй“.
Источники характеризуют Андрея Большого как одного из талантливых военных и политических деятелей второй половины XV века. Участвуя в походе на Казань в 1469 году и находясь во главе угличского войска, он способствовал успеху похода Ивана III. В 1477 году Андрей Большой командовал правым крылом войск при осаде Великого Новгорода.
От времени княжения Андрея Большого в Угличе сохранились памятники архитектуры и другие произведения искусства. Как в Москве строительство времени Ивана III в Кремле обусловило на многие века архитектурный облик центра города, так и в Угличе время Андрея Большого наложило свой отпечаток на ансамбль центра города и его планировку.
В настоящее время территория Угличского кремля (илл. 62), как и в древности, ограничена рекой Волгой с севера, Каменным ручьем с востока, речкой Щелковкой с запада и искусственно вырытым рвом, соединившим ручей и речку, — с юга. Теперь ручей обмелел, а ров заплыл и зарос сорняком. Сейчас в кремле, среди буйной зелени стоят древняя палата, остатки дворца угличского князя Андрея Большого, городской собор, колокольня, церковь Димитрия „на крови“, используемые как музей. В новом соборе, не представляющем художественного интереса, размещен городской Дом культуры. Ближе к мосту через древний ров стоит здание бывшей Городской думы.
В древности по границам кремля были поставлены мощные деревянные стены с девятью глухими и двумя проездными башнями. Как обычно, на углах стояли граненые башни, а по пряслам стен — прямоугольные, проездные, к которым подходили главные дороги. На южной стороне располагались Никольские ворота, к которым вела дорога из Москвы, Ростова и Ярославля; на западной стороне — Спасские ворота, к которым вела дорога из Калязина и Твери. У ворот через рвы были переброшены подъемные мосты. Третьи ворота, „вылазные“, вели к Волге. Учитывая стойкость архитектурно-строительных приемов деревянного зодчества Древней Руси, можно предположить, что Угличские башни были похожи на башни Корельского монастыря и Братского острога, перевезенные ныне в музей „Коломенское“ в Москве.
От дворца XV века, построенного князем Андреем Большим и состоявшего из каменных палат и множества деревянных хором, соединенных между собой переходами, сенями, крыльцами, сохранилась лишь одна двухэтажная каменная постройка, известная как палаты царевича Димитрия (илл. 63). В 1900 году археологи раскопали фундаменты построек дворца, которые помогают восстановить его планировку и с некоторой степенью достоверности представить его архитектурно-художественный облик.