Первый раз Клим Ворошилов подвергся аресту на исходе 1898 года. В тот год на завод ДЮМО был назначен полицейский пристав Греков. Был он человеком недалёким, но ретивым. К рабочим относился высокомерно и придирчиво. Однажды он приехал к почтмейстеру и вёл с ним беседу возле дома, прямо на улице. Мимо них проходили молодые рабочие, человек десять—пятнадцать, среди которых был и Ворошилов. Все с поклоном поздоровались с приставом, кроме Клима. Греков возмутился непочтением к нему Ворошилова. Он подбежал к Климу и потребовал объяснить, почему тот проявил неучтивость.
Ворошилов так описал этот случай в автобиографии. «Я рассмеялся в лицо “начальству”, и оно с гневом вцепилось в мою рубашку, а я в свою очередь запустил руки за галстук озверевшего сатрапа. Почтмейстер и все мои товарищи исчезли, а я, с лёгкими, правда, тумаками, был водворён в каталажку. На второй день я был освобождён, но начались систематические преследования. Сначала за мной следили “тайно”, а затем открыто стали ходить по пятам агенты пристава...»
Постепенно Клим к слежкам привык и перестал обращать на них внимание. Через неделю в квартире, где он жил, был произведён обыск. Обыску подвергся и Семён Мартынович Рыжков. Его вызвали в Петербург в Министерство просвещения и потребовали прекращения сношений с Ворошиловым.
Месяц спустя у Ворошилова был произведён повторный обыск, и хотя ничего подозрительного не нашли, Клима тем не менее арестовали. Через несколько дней Греков был вынужден освободить его. Однако Ворошилов чувствовал, что «полицейская опека» над ним и его единомышленниками усилилась.
Откровенным гонениям был подвергнут Иван Алексеевич Галушка. Это принудило его постоянно скрываться от властей. Однажды он совсем исчез из Алчевска. Ему грозил не просто арест, а суд и тюрьма.
Накануне своего исчезновения Иван Алексеевич поручил членам кружка распространить среди дюмовцев листовку, подписанную Ростовским (Донским) комитетом Российской социал-демократической рабочей партии. Она призывала трудящихся к организованной борьбе против их классового врага — буржуазии. Так Ворошилов узнал о существовании в России социал-демократической партии. За листовками Ростовского (Донского) комитета появилась листовка Екатеринославского комитета РСДРП. В ней также говорилось о тяжёлом положении рабочих и необходимости решительной борьбы против капиталистов. Галушкинским кружковцам стало ясно, что где-то совсем близко от них зародилась и действует какая-то новая, большая революционная сила...
Потеряв из виду Галушку, пристав Греков решил нанести решающий удар по всем активистам тайного кружка на заводе ДЮМО. Охранка составила чёрные списки, и все, кто попал в них, были уволены с завода. В числе первых был уволен Ворошилов.
Для Клима начались бесплодные дни, месяцы в поисках работы. Позже он с горечью вспоминал, как было ему тяжко. Иной раз наступала такая безысходность, что белый свет был не мил.
Уехав из Алчевска, Ворошилов попытался поискать счастья в соседнем Луганске, где у него были знакомые и друзья по заводу ДЮМО, перебравшиеся на находившиеся там предприятия. Но они при самом искреннем расположении не могли ничем помочь: везде сокращалось производство, шли увольнения.
Клим провёл в Луганске неделю. Дальше его путь пролёг по разным городам Украины, юга России. Денег у него не было, он жил благодаря поддержке друзей. Обременять их своим иждивенчеством ему не позволяла совесть, потому он подолгу не задерживался в городах. Побывал в Екатеринославе, Александровске[29], Харькове, Ростове-на-Дону. Перемещался, вспоминал Ворошилов в последующие годы, зайцем в товарняках, на тормозных площадках, на крышах вагонов. Если же это не удавалось, шагал по шпалам или пыльному просёлку, ночевал под какой-нибудь раскидистой вербой или тополем, а зимой — в сараях, на сеновалах, в любом случайном жилье, куда пускали сердобольные хозяева.
Дольше всего он задержался в Ростове. Здесь его радушно встретил Иван Алексеевич Галушка. Разговоров было непочатый край. Галушка рассказал Климу, что в городе живёт ещё один их общий знакомый, рабочий-поляк Зенкевич. Иван Алексеевич пообещал, что они вместе с Зенкевичем поищут для него какое-нибудь дело. Найти ничего не получилось, ростовские власти имели «чёрный список», в котором числился Ворошилов как неблагонадёжный.
Полиция прознала о пребывании Клима в донской столице. Он перешёл на полулегальное существование — ночевал в разных местах и чаще всего у знакомых Галушки и Зенкевича. Но долго так продолжаться не могло, надо было уезжать из Ростова...
Мать Клима, Мария Васильевна, осталась в Васильевке одна, отец отсутствовал; он, как и прежде, искал где-то лучшей доли. Первые месяцы Мария Васильевна, после того как осталась без сына, бралась за любую работу, чтобы прокормить себя, но здоровье её слабело, и ей пришлось жить по очереди у своих дочерей. Младшая Анна к тому времени вышла замуж за Николая Андреевича Щербакова, работавшего, как и муж старшей дочери Екатерины Иван Иванович Щербина, на заводе ДЮМО.