Первыми в ПВО к освоению Ту-128 в 1964 г. приступили на аэродроме Савостлейка (Горьковская обл.) в 148-м ЦБП и ПЛС (Центр боевого применения и переучивания летного состава). С 5 октября 1965 г. семь серийных самолетов (No.No.0402, 0502, 0602, 0702, 0801, 0802 и 0901) были выделены для проведения войсковых испытаний. В октябре 1966 г. Ту-128 поступили в расположенный в Талагахи входивший в состав 10-й армии ПВО (т.н. архангельская армия) 518-й ИАП.

Здесь же с 18 мая 1967 г. по 29 октября 1968 г. на вышеуказанных машинах провели войсковые испытания комплекса Ту-128С-4. С началом поступления самолета в части в ОКБ Туполева была создана специальная бригада по эксплуатации перехватчика, которую : возглавил А.Залесский. Одновременно для этой' же цели выделили группу конструкторов и в воронежском филиале ОКБ. С 3 марта 1970г. на девяти серийных машинах (No.No.1301, 1305, 1702, 1202,' 1204, 1402, 2001, 2002 и 2203) начали проводить лидерные испытания Ту-128. Изучение технического состояния двух лидеров (No.2001 и No.1305) проводилось на воронежском заводе с 15 мая по 25 сентября 1970 г. Войсковые испытания модернизированного комплекса Ту-128С-4М проводились летом 1977 г. на полигоне ПВО Сары-Шагал в районе озера Балхаш. В них участвовали экипажи 356-го АП на шести Ту-128М своей части. Эту группу возглавлял полковник Е.И.Костенко. В полетах участвовало не более трех машин, на которых отрабатывались пуски ракет на высотах 300-500 м по радиоуправляемым мишеням Ла-17.

В период создания комплекса Ту-28-80 предполагалось развернуть вдоль границ СССР (по северному, восточному и юго-восточному направлениям) более двадцати пяти полков, вооруженных Ту-128. Реально удалось сформировать шесть полков трехэскадрильного состава по 9-12 самолетов в эскадрилье. В 1967 г. Ту-128 поступили в 445-й ИАП (аэродромы Саватия и Котлас, 10-я армия ПВО). Перехватчики этой части и 518-го ИАП в июле приняли участие в воздушном параде в Домодедово. На 1 августа в частях числились уже шестьдесят четыре Ту-128. До 1970 г. на "сто двадцать восьмые" были перевооружены 72-й Гвардейский Полоцкий ордена Суворова ИАП (аэродром Андерма, 10-я армия) и три полка 14-й (новосибирской) армии ПВО: 356-й ИАП в Семипалатинске, 64-й ИАП, дислоцированный на аэродроме Омск-северный, 350-й ИАП, расположенный в то время на аэродроме Белая, а с 1984 г. перебазированный в Братск. При перевооружении на Ту-128 из названия полков убиралось слово "истребительный".

Надо отметить то, что по тем временам система вооружения Ту-128 превосходила по всем параметрам системы всех других самолетов авиации ПВО: это и дальность пуска ракет, и высота поражаемых целей, всеракурсность атаки, дальность захвата и обнаружения целей. Плохо было с малыми высотами, но этот недостаток был впоследствии ликвидирован в ходе модернизации Ту-128 в Ту-128М.
Боевое применение Ту-128 предполагало несколько типовых вариантов. В одном из них обнаружение целей и наведение перехватчика осуществлялось с помощью наземных станций или самолетами ДРЛО Ту-126. Следует отметить, что при взаимодействии с последними экипажам Ту-128 нередко приходилось работать и в полуавтономном режиме. Дело в том, что диаграмма направленности антенны Ту-126 имела значительную "мертвую зону", представляя собой кольцо, которое цель проскакивала довольно быстро. К тому же, высота полета цели определялась весьма приблизительно, по положению относительно самого Ту-126. Оператор самолета ДРЛО давал только курс и состав цели. Получив эти данные, экипаж Ту-128 вел дальнейший поиск самостоятельно.

С самого начала несения боевого дежурства Ту-128 заняли свое место в системе ПВО СССР. В те годы она строилась следующим образом: передовой авиационный эшелон - по 10 Ту-128 из каждого полка, которые при необходимости перелетали на аэродромы передового базирования (предполагалось их взаимодействие с самолетами ДРЛО Ту-126); 1-й эшелон - силы и средства ПВО приграничных районов; 2-й эшелон - силы и средства ПВО внутренних округов. Использование в этой системе Ту-128, способных с полным вооружением "висеть" в воздухе более 2,5 ч, позволило вынести рубеж перехвата воздушных целей до 1100 км от границ СССР.
Наиболее напряженный режим дежурства был на Севере. Здесь экипажи Ту-128 постоянно поднимались в воздух на перехват разведывательных и патрульных самолетов НАТО, однако случаи их сбития неизвестны. Следует отметить, что вообще реальные пуски ракет даже по учебным целям проводились нечасто, и редко кому из летчиков за всю карьеру удавалось выполнить более десятка стрельб. Значительное беспокойство экипажам Ту-128 доставляли стратегические самолеты-разведчики SR-71, которые регулярно появлялись у советских границ, особенно досаждая при выдвижении перехватчиков на передовые аэродромы.