Расстроенный неудачей с Як-26 Генеральный конструктор А.С.Яковлев с нескрываемым скептицизмом относился к новому заданию, считая, что на базе "двадцать шестого" построить удачный бомбардировщик уже не удастся. Однако ряд сотрудников ОКБ, в частности Е.Г.Адлер, все же полагали, что ничего невыполнимого в требованиях заказчика нет. Проанализировав перечень замечаний военных по Як-26, они пришли к выводу, что конструкцию базового самолета следует в основном сохранить. Однако необходимо увеличить жесткость крыла на корневом участке; элероны сместить к мотогондолам, и таким образом устранить реверс элеронов или хотя бы отодвинуть его в область более высоких скоростей; увеличить площадь крыла, изменив его форму в плане на участке между мотогондолами - заднюю кромку выпрямить, а переднюю "скосить" под еще большим углом с тем, чтобы, не меняя относительной толщины профиля, увеличить строитель- ную высоту силовых элементов; на прямом участке задней кромки установить закрылки типа "Фаулер"; крыло поднять, что позволит установить более мощные и в то же время большие по габаритам двигатели, увеличить расстояние между воздухозаборниками и землей, увеличить высоту бомбоотсека, что даст возможность разместить в нем не только авиабомбы всех калибров, но и авиационные торпеды; пересмотреть конструкцию мотогондол для обеспечения работы двигателей на больших сверхзвуковых скоростях; сиденье штурмана выполнить неподвижным катапультируемым, а прицел смонтировать на откидной платформе и снабдить его удлиненным окуляром (при катапультировании прицел должен отстреливаться по направляющим рельсам).
Для ускорения постройки первого опытного Як-129 по просьбе Адлера был выделен один из имевшихся на летной станции ОКБ серийных Як-26. Переделку закончили в начале 1958 г. И хотя внешне самолет казался очень похожим на доработанный в 1957 г. Як-26-1, это был совершенно новый тип бомбардировщика. Высокое расположение крыла уменьшало кабрирующий момент от тяги двигателей, чем увеличивалась устойчивость машины на взлете и при полете на больших углах атаки. Этому же способствовало увеличение хорд корневой части крыла, что уменьшало влияние скоса потока на горизонтальное оперение и увеличивало его эффективность. Новые закрылки дали большой прирост подъемной силы. Смещение элеронов значительно повысило эффективность поперечного управления на больших скоростях из-за уменьшения упругих деформаций крыла. Применение тормозного парашюта позволило сократить длину пробега. Для повышения угла атаки при взлете заднюю основную стойку шасси оборудовали системой автоматической "просадки".
Як-129 оснастили двигателями Р-11А-300 с тягой на форсаже 4850 кгс. Это была опытная модификация серийного Р-11-300 (применялся на МиГ-21), отличавшаяся от него расположением коробки агрегатов, т.к. предназначалась для установки в гондоле под крылом. Гондолы новых двигателей имели круглое входное отверстие с небольшим центральным конусом. Топливная система опытной машины включала шесть фюзеляжных баков общей емкостью 4025 л.
Первый полет новой машины состоялся 5 марта 1958 г. В воздух ее поднял ведущий летчик-испытатель ОКБ В.М.Волков. С этого дня начались заводские испытания машины, которые проводились на аэродроме ЛИИ и завершились 4 октября. К тому времени новому бомбардировщику присвоили серийное обозначение Як-28. Кроме Волкова, самолет облетали летчик-испытатель завода №30 С.Г.Петухов и ведущий пилот ЛИИ С.Н.Анохин. По сравнению с Як-26 взлетная масса нового бомбардировщика выросла до 12885 кг (при нормальной бомбовой нагрузке 1200 кг и запасе горючего 3200 кг). На форсаже удалось набрать 10000 м за 3,5 мин и достичь максимальной скорости 1500 км/ч. Предполагалось получить потолок в 17800 м, но из-за самовыключения форсажа удалось достичь только 16300 м. Летчики отмечали вполне удовлетворительную устойчивость и управляемость, хорошие взлетно-посадочные характеристики (разбег и пробег составляли от 850 до 950 м). Перекомпоновку носовой кабины одобрили не только заводские пилоты, но и штурманы ЛИИ. В процессе испытаний для улучшения продольной устойчивости у корня крыла и в хвостовой части фюзеляжа установили аэродинамические гребни. Кроме того, по аналогии со вторым опытным Як-27Р удлинили за-концовки крыла, которые стали выступать за балансиры-обтекатели крыльевых опор.
Когда первые сведения об удачных полетах Як-129 дошли до А.С.Яковлева, все еще пассивно наблюдавшего за переделкой "двадцать шестого", он вдруг заинтересовался новой машиной. На аэродроме стал регулярно появляться его новый первый заместитель Г.И.Хрустицкий. Однако, когда начались госиспытания, заказчик выдвинул ряд претензий. По целому ряду причин ОКБ не могло в поставленные сроки устранить некоторые из них. Двигатели недодавали расчетной тяги, и это повлияло на характеристики опытного бомбардировщика. Устранить недостатки попытались на втором опытном экземпляре самолета.