Работа по новому самолету в опытном конструкторском бюро П.О. Сухого началась в начале 1961 г. Первоначальная проработка его облика была поручена заместителю начальника бригады общих видов Александру Михайловичу Полякову, а руководство ею Ивану Ивановичу Цебрикову.
Осенью 1960 г. генеральным конструктором П.О. Сухим в Государственный комитет по авиационной технике было внесено предложение о создании дальнего сверхзвукового ударного самолета-разведчика с двумя ракетами и двумя подвесными топливными баками с крейсерской скоростью полета 2500-2650 км/ч, дальностью 7-8 тыс. км и возможностью полета на высоте 18-22 км. Без топливных баков его скорость составляла 3000 км/ч и дальность уменьшалась до 6-6,5 тыс. км. Кроме того, приказом по ГКАТ №376 от 3 ноября 1961 г. было предписано начальникам ЦАГИ, ЛИИ, ЦИАМ, ВИАМ и НИАТ обеспечить совместную работу с заводом №51 по продувкам моделей, выбору материалов конструкции, выбору параметров самолета и другим вопросам, а главному конструктору ОКБ-36 (ОКБ им. П.А. Колесова) П.А. Колесову и генеральным конструкторам ОКБ-300 и ОКБ-165 С.К. Туманскому и А.М. Люльке принять участие в разработке проекта сверхзвукового самолета-ракетоносца.
В то же время в инициативном порядке проектированием нового самолета стал заниматься инженер второй категории Олег Сергеевич Самойлович. После доклада о его работе Павлу Осиповичу Сухому проект Самойловича был одобрен генеральным конструктором, а Олег Сергеевич стал руководителем этой разработки. Компоновка нового самолета была выполнена по схеме "утка" с передним горизонтальным оперением (ПГО) и изолированными мотогондолами (МГ), расположенными под консолями крыла. Воздухозаборник выступал за переднюю кромку крыла. Первые теоретические расчеты показали, что машина будет весить 102 т. В дальнейшем именно отсюда произошло название изделие "100", или "сотка".
В декабре 1960 г. состоялся первый доклад "суховцев" в ЦАГИ на научно-техническом совете (НТС), председателем которого был В.М. Мясищев. На совещании присутствовали: П.О. Сухой, О.С. Самойлович, В.М. Мясищев, В.В. Струминский и другие. Для совета были подготовлены инженерная записка и небольшая тактическая модель первой компоновки.
Несмотря на то, что проект был одобрен, факт участия истребительного КБ в таком большом проекте вызвал неприязнь у работников бывшего конструкторского бюро В.М. Мясищева, о чем свидетельствует разговор, состоявшийся после НТС между Олегом Сергеевичем Самойловичем и Владимиром Васильевичем Струминским. Со слов Самойловича: "Струминский грубо начал: "... какого черта вы лезете в эту тематику? Вы же в ней ничего не понимаете!" Я ему сказал: "Владимир Васильевич, почему вы говорите это мне? Я кто? Я же "никто". Говорите это Павлу Осиповичу". Он передернулся от злости и замолчал. Сухому он такое сказать не мог".
После состоявшегося в ЦАГИ совещания работы по дальнейшему совершенствованию компоновки нового ударного самолета были продолжены. К проектированию подключилось еще несколько человек, среди них Ю.В. Ивашечкин, а позднее Ю.В. Васильев, Ю.В. Давыдов и В.П. Терликов.
Основное внимание было уделено поиску оптимальной аэродинамической компоновки машины, удовлетворяющей основной задаче самолета - способности выполнять длительный полет на высоте со скоростью, равной 3-м скоростям звука.
Появилось еще несколько вариантов самолета, и на этом этапе работа пошла по двум направлениям. В первом случае продолжилось дальнейшее совершенствование компоновки О.С. Самойловича, а во втором - рассматривались варианты с расположением двигателей под центропланом машины "пакетом".
Параллельно на базе компоновок с разнесенным и "пакетным" расположениями двигателей конструктором Ю.В. Ивашечкиным были проработаны гражданские варианты самолета. Рассматривалось три варианта компоновки пассажирских самолетов, но дальше проектных изысканий они не пошли (надо заметить, что гражданские варианты прорабатывались в это же самое время и у А.И. Туполева - проект "135 пассажирский" на базе самолета "135", ставший знаменитым Ту-144, и у В.М. Мясищева - проект М-53 на базе боевого М-56).