Восстание в Ярославле начала группа заговорщиков (105 человек); к ним присоединился изменивший советской власти бронедивизион. Заговорщики захватили военные склады и вооружились. Полковник Перхуров объявил себя «главноначальствующим» Ярославской губернии и командующим группой войск Северной добровольческой армии. Своим помощником «по гражданской части» Перхуров назначил железнодорожного служащего И. Т. Савинова, а в городскую управу – бывшего городского голову, инженера по образованию Лопатина, купца Каюкова, членов кадетской партии Соболева и Горелова, бывшего присяжного поверенного Мешковского и в качестве «представителя рабочих» меньшевика Абрамова. По приказу Перхурова все декреты советской власти отменялись, советские учреждения упразднялись, восстанавливались царские порядки в судах, а также институт волостных старшин, уездная и городская полиция (стража).
Мятеж в Ярославле сопровождался разгулом антисоветского террора. Были убиты комиссар военного округа С. М. Нахимсон, председатель исполкома городского Совета Д. С. Закгейм, члены губисполкома Шмидт, Зелинченко и многие другие советские работники. Свыше двухсот арестованных советских активистов были доставлены на баржу, стоявшую посреди реки Волги, и обречены на голод и мучения. При попытке узников бежать с этой «баржи смерти» в них стреляли. Только на тринадцатый день находившимся на барже заключенным удалось сняться с якоря и привести ее в расположение красноармейских частей. В живых на барже осталось 109 человек.
Мятежники разъезжали по предприятиям города и ближайшим волостям, уговаривая население выступить в их поддержку. Бывшему члену губисполкома эсеру Мамырину удалось подбить на восстание часть крестьян Заволжья.
Однако верные рабоче-крестьянскому правительству красноармейские части (1-й Советский полк) оказали сопротивление мятежникам. Вскоре мятежники были окружены вызванными в Ярославль отрядами Красной Армии. В городе начались ожесточенные бои.
Тем временем потерпели провал предпринятые по плану «Союза» выступления в других городах Верхнего Поволжья. В Рыбинске местная Чрезвычайная комиссия своевременно узнала о готовящемся выступлении. Позже стало известно, что тайное общество в Рыбинске насчитывало до 400 членов, главным образом офицеров довоенного и военного времени. Советский же гарнизон был малочисленный. Мятежники рассчитывали захватить артиллерийские склады и двинуться с артиллерией на город. Но все дороги, ведущие к артиллерийским складам, были перекрыты защитниками города, которые встретили мятежников пулеметным огнем. Понеся большие потери, противник бежал.
…Вечером 8 июля началось восстание в Муроме. К мятежникам присоединились бывшие офицеры, торговцы, гимназисты, а также некоторые священники и монахи во главе с епископом Митрофаном Муромским, давшим мятежникам свое благословение. Но уже на следующий день местные рабочие и воинские части изгнали мятежников из города.
Таким образом, расчеты заговорщиков Ярославля на помощь из Рыбинска и Мурома не оправдались. Кольцо окружения Ярославля сжималось. С обеих сторон насчитывались сотни убитых и раненых, город горел. Тогда под предлогом вылазки «главноначальствующий» Перхуров с отрядом в 50 человек покинул город. Бежали и другие лидеры восстания. Настали критические часы мятежа.