Строевые летчики отмечали: «Разведоборудование самолета позволяет вести фоторазведку только днем в ПМУ и под облаками — ни в СМУ, ни ночью никакие виды разведки, кроме визуальной, невозможны. Несовершенное для данного времени пилотажно-навигационное и радиотехническое оборудование не позволяет решать в полном объеме задачи самолетовождения в СМУ; неудовлетворительная звуковая изоляция кабин; катапультные кресла не позволяют покидать самолет на малых (ниже 200 м) высотах».
Аварийность яковлевских машин тоже была высокой. Все эти факторы привели к тому, что в первой половине 70-х годов Як-27Р практически не осталось в ВВС.
Истребители Як-25 еще только поступали на вооружение авиаполков ПВО, а в конструкторском бюро Яковлева уже началась работа над новым сверхзвуковым двухдвигательным боевым самолетом, который в дальнейшем под индексом Як-28 поступил на вооружение ВВС и ПВО в вариантах фронтового бомбардировщика, перехватчика, разведчика и постановщика помех.
Внешне он во многом напоминал своего предшественника Як-25: то же велосипедное шасси, два двигателя в мотогондолах под крылом, но превосходил его по летно-техническим характеристикам.
Первым на вооружение поступил фронтовой бомбардировщик Як-28Б. Максимальный вес авиабомб, подвешиваемых в отсеке внутри фюзеляжа, достигал 3000 кг. В нижней части фюзеляжа размещалась 23-мм пушка НР-23. Поскольку советская военная мысль в этот период ориентировалась только на всеобщую ядерную войну, Як-28 мог нести и «спецбоеприпасы» — тактические ядерные авиабомбы.
В 1960 году появились новые модификации бомбардировщика. Во-первых, Як-28И с радиолокационной станцией «Инициатива-2», позволявшей экипажу самостоятельно вести поиск целей; во-вторых, Як-28Л с радиокомандной системой наведения на цель «Лотос» (по командам с земли). На Як-28Л пушку НР-23 заменили новой двухствольной ГШ-23Я. Однако вскоре после начала эксплуатации выяснилось, что система «Лотос», хотя и позволяет выходить на цель с отклонением до 50 метров, ненадежна в эксплуатации и весьма неустойчива к помехам. Поэтому официально ее так и не приняли на вооружение.
Ударные самолеты Як-28 состояли на вооружении многих бомбардировочных авиаполков Прибалтийского, Прикарпатского, Закавказского, Среднеазиатского, Дальневосточного военных округов, а также Южной Группы Войск (Венгрия).
Американские эксперты по советским ВВС считали, что «Як-28, последовавший за Ил-28, мог развивать сверхзвуковые скорости при атаке наземных целей, но имел меньшую полезную нагрузку. На вооружение было поставлено около двухсот Як-28 в ударных вариантах, прежде чем в 1970-е годы самолет был частично снят с вооружения, а частично переоборудован для использования в специальных целях (постановка радиопомех, разведка). Считается, что Як-28 способен нести ядерное оружие». Как видим, вероятный противник был неплохо осведомлен о его боевых возможностях.
В 1960 году на базе этого бомбардировщика для истребительной авиации ПВО был разработан двухместный сверхзвуковой истребитель-перехватчик Як-28П, предназначавшийся для перехвата воздушных целей на малых и средних высотах днем и ночью в любых метеорологических условиях. Этот самолет стал наглядным воплощением хрущевской концепции авиационного вооружения, согласно которой право на жизнь имели только машины, оснащенные ракетным оружием.
У Як-28П, в отличие от предшественников, отсутствовали пушки, вместо них появился ракетный комплекс К-8М-1, включавший РЛС «Орел-Д» и две управляемые ракеты Р-8М-1 с тепловой (либо радиолокационной) полу-активной головкой самонаведения. Однако работы по доведению авиационно-ракетного комплекса до работоспособного состояния затянулись, из-за чего государственные испытания завершились только в 1965 году, а сам Як-28П официально так и не был принят на вооружение, что не помешало его многолетней эксплуатации в полках ПВО.