23 апреля 1867 г. композитор обратился к драматургу с предложением написать либретто будущей оперы. «Еще с покойным Аполлоном Григорьевым, — писал Серов, — мы много раз толковали, что это отличный сюжет для русской народной оперы, где кроме действующих лиц пьесы будет еще одно, для драмы невозможное: это — „сама широкая масляница“, во всем ее русском разгуле, — попойка, песни, катанье на тройках с бубенчиками и т. д., будет и ново, и живо, и все как следует…».
Островский ответил уклончиво. Писал, что сюжет «неудобен» для оперы, «мелок, весь интерес вертится на загуле <…> в этом сюжете мало картинности для сцены», рекомендовал искать сюжет у других писателей.
Серов продолжал настаивать. 26 мая 1867 г. он вновь пишет Островскому, что пьеса его обладает внутренним драматизмом, необходимым для оперы, и дает возможность создать чисто русскую народную оперу.
Островский соглашается написать либретто. 4 июня в Щелыкове он принимается за работу, а уже к 20-му оканчивает первый акт. Серов был очень доволен началом. Получив из Щелыкова первую картину, он писал Островскому: «…Вы
Однако в дальнейшем Серов изменил свое отношение к присланному драматургом материалу. Через полгода, 28 июня 1868 г., он пишет Островскому, что считает либретто неоконченным, требует дать опере «кровавую развязку» — Даша в исступлении должна сама броситься на нож Петра. Серов намечает совершенно иной план либретто, требует изменения характеров и коллизии. Жена Серова писала: Островский «к сцене масленичного загула примешал бесов — настоящих, с хвостами, рогами и проч. чертовскими атрибутами, — якобы смущающих толпу загулявших; а Еремку выставил <…> полудиаволом в зипуне». К тому же Серову «чуялась неизбежная роковая катастрофа в конце».
Актер А. Н. Витмер вспоминает свой разговор с Серовым о либретто оперы. «Когда Серов говорил о предположенном им изменении сюжета комедии Островского и я спросил его, зачем он хочет это сделать, тем более, что звон колокола казался мне, профану, хорошей темой для музыканта, А. Н. Серов отвечал, что так кончить, кончить по Островскому, значило бы кончить ничем: драма назревала и должна была привести к трагическому концу, а иначе „зачем бы было и огород городить“».
Островский настаивал на своей концовке. Дело кончилось тем, что Островский перестал отвечать на письма. Серов привлек к работе над либретто оперного переводчика П. И. Калашникова, потом занялся им сам совместно со своим знакомым А. Ф. Жоховым. Либретто было написано, финальная сцена его резко отличалась от развязки драмы. Название оперы «Вражья сила» было взято из либретто, написанного драматургом (эти слова — «вражья сила» — произносит у Островского одно из действующих лиц). Работу над оперой Серов закончить не успел. Вступление и пятое действие были оркестрованы Н. Ф. Соловьевым уже после смерти композитора.
Первая постановка «Вражьей силы» состоялась в Мариинском театре в Петербурге 19 апреля 1871 г. Дирижировал Э. Ф. Направник.
В Большом театре в Москве опера была исполнена 15 ноября 1881 г.