Первые серийные истребители Як-28П поступили в 356-й истребительный авиаполк 14-й армии ПВО (Семипалатинск) в ноябре 1963 года для прохождения войсковых испытаний. Уже в начале следующего года экипаж подполковника Калашникова потерпел катастрофу — самолет разрушился в воздухе из-за перегрузок, пилот и оператор погибли. Тем не менее, испытания продолжили, по их результатам было принято решение о поступлении Як-28П на вооружение авиаполков ПВО.
В частности, их получили 174-й гвардейский истребительный Печенгский Краснознаменый авиаполк (10-я армия ПВО); 641-й гвардейский истребительный авиаполк (10-я армия ПВО); 22-й истребительный Краснознаменный авиаполк (14-я армия ПВО); 738-й истребительный авиаполк (8-я армия ПВО); 171-й истребительный Тульский Краснознаменный авиаполк (Бакинский округ ПВО); 50-й истребительный Краснознаменный авиаполк (Бакинский округ ПВО).
Поскольку, как уже сказано выше, Як-27Р по своим тактико-техническим данным не удовлетворял командование ВВС, было принято решение о создании на базе Як-28 фронтового разведчика Як-28Р для замены в разведывательной авиации устаревших машин Як-27Р и Ил-28Р. С этой целью запас топлива увеличили на 500 литров, а вместо бомбового отсека оборудовали три отсека для разведывательного оборудования — фотоаппаратов и станции радиотехнической разведки «Ромб-4А». Работы однако затянулись, новые разведчики стали поступать на вооружение лишь в 1966 году.
Бурное развитие военной радиоэлектроники привело к тому, что наряду с привычными бомбардировщиками и истребителями, военно-воздушным силам понадобились специализированные самолеты необычного назначения — постановщики помех (т. е. РЭБ, радиоэлектронной борьбы), предназначенные для подавления радиотехнических средств системы ПВО противника.
На самолетах, получивших обозначение Як-28ПП, устанавливались станции РЭБ «Букет», «Стрела», «Фасоль-1», «Сирень», блоки неуправляемых ракет С-5П, предназначенных для постановки пассивных помех и другое оборудование, позволившее ВВС получить довольно удачный легкий фронтовой сверхзвуковой самолет РЭБ, который дольше всех других вариантов Як-28 оставался в строю. Так, в начале 90-х годов в 213-й подвижной авиаремонтной мастерской 26-й воздушной армии Белорусского военного округа разбирали Як-28ПП 151 — го отдельного полка РЭБ, выведенного с территории Польши.
Разведчики Як-28Р и постановщики помех Як-28ПП несли службу во всех военных округах и группах войск, от Берлинской стены до Японского моря. Их имели на вооружении: 1) 164-й отдельный гвардейский разведывательный Керченский Краснознаменный авиаполк — 4ВА; 2) 11-й отдельный разведывательный Витебский Краснознаменный авиаполк — 24-я (16-я) ВА; 3) 328-й отдельный гвардейский разведывательный авиаполк — 36-я ВА; 4) 886-й отдельный разведывательный авиаполк — 30-я ВА; 5) 10-й отдельный разведывательный Московско-Кенигсбергский Краснознаменный авиаполк — 26-я ВА; 6) 48-й отдельный гвардейский разведывательный авиационный Нижнеднепровский авиаполк — 57-я ВА; 7) 511-й отдельный разведывательный Ясский авиаполк — 48-я ВА; 8) 313-й отдельный разведывательный авиаполк — 34-я ВА; 9) 39-й отдельный разведывательный Никопольский авиаполк — Среднеазиатский ВО; 10) 87-й отдельный разведывательный авиаполк — 73-я ВА; 11) 193-й отдельный гвардейский разведывательный Львовский Краснознаменный авиаполк — 23-я ВА; 12) 799-й отдельный разведывательный авиаполк — 1-я ВА; 13) 151-й отдельный авиаполк РЭБ — 37-я (4-я) ВА; 14) 118-й отдельный авиаполк РЭБ — 57-я ВА.
В большинстве разведывательных авиаполков самолеты Як-28Р соседствовали с другими разведчиками — Як-27Р, МиГ-21Р, МиГ-25Р и даже со «старичками» Ил-28Р. По сравнению с более современными машинами МиГ-21Р они обладали большей дальностью полета, а наличие двух членов экипажа облегчало визуальное обнаружение наземных целей. В то же время штурман Як-28Р имел весьма ограниченный обзор из своей кабины.
В обязанности экипажей Як-28ПП входило прикрытие действий ударных самолетов фронтовой авиации, радиоэлектронное подавление радиотехнических систем ПВО противника, причем осознание важности радиоэлектронной борьбы в современной войне привело к формированию специальных авиаполков РЭБ.