После Февральской революции пользовавшийся авторитетом среди товарищей Еременко был избран в своей части уполномоченным в полковой комитет. Возвратившись вместе с полком с Румынского фронта, Еременко приехал к себе на родину, на Украину. Это было тяжелое, тревожное время. На родной земле хозяйничали немецкие оккупанты, белогвардейские отряды. В октябре 1918 года Еременко возглавил партизанский отряд, который в начале 1919 года влился в ряды Красной армии. Еще раньше — в декабре 1918 года — Андрей Иванович вступил в ряды РКП(б). Уже в январе 1919 года его назначили Марковским военным комиссаром и избрали заместителем председателя местного ревкома. А в июне 1919 года Еременко ушел на фронт и до конца Гражданской войны сражался в составе первых кавалерийских частей РККА, которые стали основой знаменитой Первой конной армии С. М. Будённого. Свою военную карьеру он начал красноармейцем, но вскоре стал быстро продвигаться по службе: помощник командира взвода 2-го кавалерийского полка, старшина эскадрона и командир взвода 34-го кавалерийского полка, начальник разведки и помощник начальника штаба 1-й бригады 14-й кавалерийской дивизии. Заканчивал войны Еременко в рядах 79-го кавалерийского полка той же дивизии, где он сначала возглавлял полковую школу, а затем и полковой штаб. Длительное время он фактически командовал полком, замещая находящегося на лечении командира.
Среди прочих боев Еременко в ночь на 6 февраля 1920 года принял участие во встречном сражении с конной группой генерала А. А. Павлова у станицы Торговой. В этом бою 2-й и 4-й белые Донские корпуса были разгромлены, что привело к отступлению всего белого фронта. Затем Еременко сражался с войсками барона П. Н. Врангеля и бандами Н. И. Махно. Оставив Юг России, его полк отправился сражаться против панской Польши, и во время Киевской операции Еременко в 1920 году получил новое ранение. За боевые заслуги в годы Гражданской войны ВЦИК наградил А. И. Еременко орденом Красного Знамени, а позднее, в 1938 году — к двадцатилетию РККА — он получил орден Ленина: по тем временам награду очень высокую.
После окончания Гражданской войны Еременко, бывший на хорошем счету у командования как умелый и храбрый краском, был оставлен в кадрах Красной армии. С мая 1920 года он — адъютант штаба 79-го кавалерийского полка 14-й кавалерийской дивизии, а в 1922 году возглавил штаб своего полка, который к тому моменту был переведен в Таганрог. В 1924 году А. И. Еременко был принят слушателем кавалерийских курсов усовершенствования высшего начсостава РККА в Ленинграде, которые успешно окончил в 1925 году. Начальником курсов был выпускник Николаевского кавалерийского училища бывший полковник русской армии М. А. Баторский, не только известный кавалерист, но и опытный генштабист. Слушателями курсов вместе с Еременко были будущие маршалы Советского Союза И. X. Баграмян, Г. К. Жуков, К. К. Рокоссовский.
С Иваном Христофоровичем Баграмяном Еременко связывала дружба на протяжении всей жизни, о чем говорит надпись на оборотной стороне фотографии, сделанной Баграмяном: «Андрей! Спасибо тебе за хорошую дружбу, ты замечательный товарищ, настоящий друг, энергичный, волевой, со здравым смыслом, упорный в труде, в учебе. Береги свои замечательные качества. Ты своим упорством преодолеешь все трудности на своем пути. Пробьешь любую каменную стену».
В августе 1925 года Еременко был назначен начальником штаба 55-го кавалерийского полка 14-й кавалерийской дивизии, а вскоре принял командование полком. Более пяти лет он стоял во главе полка, приобретая столь необходимый будущему полководцу практический командный опыт.
Затем Еременко снова учится: в 1930–1931 годах — на курсах единоначальников при Военно-политической академии им. Н. Г. Толмачева. В 1935 году он оканчивает Военную академию им. М. В. Фрунзе, после чего его назначают помощником командира 14-й кавалерийской дивизии, в составе которой он воевал в годы Гражданской войны. В августе 1937 года полковник Еременко возглавил дивизию и 17 февраля того же года получил первое «генеральское» звание — комбриг. В июне 1938 года Еременко вступил в должность командира 6-го кавалерийского корпуса имени Сталина, в состав которого входили 6-я Кубано-Терская казачья Чонгарская дивизия имени С. М. Будённого и 36-я кавалерийская дивизия имени И. В. Сталина. Его корпус по праву считался одним из лучших и боеспособных соединений Красной армии. 9 февраля 1939 года Еременко был произведен в комдивы, а уже 4 ноября того же года — в комкоры. После введения в РККА генеральских званий ему 4 июня 1940 года было присвоено звание генерал-лейтенанта.
В 1939 году под командованием А. И. Еременко корпус принимал участие в Польском походе и освобождении Западной Белоруссии. В 1940 году, после присоединения Прибалтийских республик к СССР, 6-й кавалерийский корпус был переброшен в Литву. В своем дневнике Еременко сделал заметку: «23 июня 1940 г. город Телыпяй, Литва. Купался в озере, переплыл его, а оно имеет ширину 2 км. Местные жители поражены таким дерзким поступком».