Эта машина, по сравнению со своим предшественником танком Т-55, имела целый ряд конструктивных особенностей. На ней установили гладкоствольную 115-мм пушку У-5ТС с двухплоскостным стабилизатором «Метеор»; цельнолитую башню с диаметром погона в свету 2245 мм (у Т-55 — 1816 мм); механизм выброса стреляных гильз через люк в кормовой части башни; изменили крепление пушки, прицела и спаренного пулемета в башне; увеличили длину корпуса на 386 мм, а высоту — на 27 мм; наклон кормового листа уменьшили с 17° до 2°; для обеспечения требуемого угла снижения пушки крыша корпуса от башни в сторону кормы имела наклон 3°15’, а в сторону носа — 0°30’; для защиты погона башни и люка командира от прямых попаданий пуль приварили броневые кольца сечением 10x30 мм; ликвидировали курсовой пулемет; конструктивно изменили механизм поворота башни; прибор наблюдения ТПКУБ заменили на комбинированный командирский прибор ТКН-2 «Кармин»; установили малогабаритный форсуночный подогреватель повышенной теплопроизводительности, 19-дисковый фрикцион с гидропневматическим приводом управления, исключавшим излишнее буксование дисков в процессе работы и уменьшавшим усилие на педали, тормозные колодки из пластмассы на лентах тормоза поворота; для повышения плавности хода танка динамический ход опорных катков увеличили со 142 до 162 мм; за счет удлинения опорной поверхности гусениц понизили удельное давление на грунт до 0,75 кг/см2, а также внесли ряд других более мелких усовершенствований.
Согласно постановлению № 729–305, вместе с танком Т-62 на вооружение принимался средний танк Т-62А («объект 165»), оснащенный 100-мм нарезной пушкой У-8ТС с двухплоскостным стабилизатором «Комета». Такое решение было продиктовано тем, что этим орудием предполагалось вооружить и харьковский «объект 430». У-8ТС (индекс ГРАУ 2А24) представляла собой модернизированную пушку Д-54ТС. У нее упрочнили ствол, в результате чего его масса возросла до 2390 кг. В связи с разработкой нового подкалиберного снаряда крутизну нарезов изменили с 25 до 35 клб. (Правда, к моменту принятия на вооружение подкалиберный снаряд еще не был готов.) Начальная скорость калиберного бронебойного снаряда массой 16,1 кг составляла 1015 м/с; дальность прямого выстрела (при высоте цели 2 м) — 1200 м; бронепробиваемость под углом 0° на дальности 1000 м — 235 мм, на 2000 м — 200 мм. Начальная скорость осколочно-фугасного снаряда массой 15,8 кг равнялась 940 м/с. Максимальная дальность стрельбы при угле возвышения 16° — 14 650 м.
В марте 1962 года было принято решение «в связи с необходимостью сокращения номенклатуры танковых пушек производство Т-62А не начинать». Постановлением Совмина от 29 июня того же года работы по пушке У-8ТС были прекращены «в связи с разработкой более перспективных образцов».
Единственной серийной модификацией Т-62 стал командирский танк Т-62К, отличавшийся от линейной машины установкой дополнительной радиостанции Р-112, танковой навигационной аппаратуры ТНА-2 и зарядного агрегата АБ-1-П/ЗО-У. Был добавлен один комплект четырехметровой штыревой антенны, изменено крепление сиденья заряжающего, а также внесены некоторые изменения в схему электрооборудования, в размещение боекомплекта и ЗИП и в компоновку аппаратов ТПУ. Боекомплект уменьшили на четыре артвыстрела и на три коробки с лентами для спаренного пулемета.