С восшествием на престол императора Сиракава (1053–1129, пр. 1072–1086), сына Госандзё, в истории Хэйан начинается период инсэй — период правления ушедших с престола императоров. Несмотря на отсутствие реальной власти в руках сэссё-кампаку, эти должности не были отменены, и на них попрежнему назначались представители северной ветви Фудзивара, это были (после Ёримити: Фудзивара-но Норимити (996–1075, брат Ёримити), Фудзивара-но Мородзанэ (1042–1101), сын Ёримити), он был кампаку в 1075–1086 годаx, затем сэссё в 1086–1090 годах при вступление на престол сына Сиракава Хорикава (1079–1107, пр. 1086–1107, мать Хорикава была приемной дочерью Мородзанэ, затем вновь кампаку до 1094 года; затем кампаку стал сын Мородзанэ Моромити (1062–1099); затем его сын Тададзанэ (1078–1162), он был кампаку в 1105–1107 годаx, сэссё 1107–1113 (при императоре Тоба (1103–1156, пр. 1107–1123)), который взошел на престол четырехлетним, затем снова кампаку до 1121 года; сын Тададзанэ Тадамити был дважды назначаем сэссё и трижды кампаку за период с 1121 по 1158 год; на смену Тадамити пришел его сын Мотодзанэ (1143–1166); затем второй сын Тадамити Мотофуса (1144–1230); затем сын Мотодзанэ Мотомити (1160–1233); затем брат Мотодзанэ и Мотофуса Канэдзанэ; затем опять Мотомити. Таким образом, в этот период должности сэссё — кампаку входили в структуру государственной власти, но это уже не означало, что человек, занимающий иx, обязательно доминирует при дворе (так, впрочем, иногда случалось и в период, когда северные Фудзивара были на вершине власти, самый могущественный из всех Фудзивара — Митинага — занимал пост кампаку меньше двух лет из тридцати лет сво его владычества.
Главными политическими фигурами периода инсэй были экс-императоры Сиракава, Тоба и Госиракава (1127–1192, пр. 1155–1158). В этот период на престоле было много императоров, посаженных на престол в детском возрасте: Хорикава (сын Сиракава) взошел на престол в возрасте семи лет, Тоба (сын Хорикава) в возрасте четырех лет, Сутоку (1119–1164, пр. 1123–1141, сын Тоба) в возрасте четырех лет, Коноэ (1139–1155, пр. 1141–1155, сын Тоба) в возрасте двух лет, Госиракава, третий сын Тоба — исключение в этом ряду, он взошел на престол в возрасте двадцати восьми лет, Нидзё(1143–1165, пр. 1158–1165, сын Госиракава) в возрасте пятнадцати лет, Рокудзё (1164–1176, пр. 1165–1168, сын Нидзё) — годовалым младенцем, Такакура (1161–1181, пр. 1168–1180, сын Госиракава) — семилетним, Антоку (1178–1185, пр. 1180–1183, сын Тококура) — двухлетним, Готоба — треxлетним. Мы не станем останавливаться на этом периоде более подробно, поскольку никаких отзвуков таких феноменов, как восхождение на престол малолетних императоров в "Торикаэбая моногатари" нет.
В "Торикаэбая моногатари" главные герои не названы по фамилии, однако «исторически» они могли быть только представителями северной ветви дома Фудзивара, хотя бы потому, что только северные Фудзивара занимали должность кампаку. Сразу обратим внимание на то, что политическая борьба никоим образом не является предметом рассмотрения литературы «моногатари». Генезис моногатари — в бытовой сказке и в лирической поэзии, не рассматривающей социальных проблем. И все же вспомним слова главной героини, говорящей, пусть больше в ракурсе любовной интриги о борьбе внутри своей семьи: "Когда-то я заплатила сполна за свой брак с Ённокими тем, что Удайдзин днем и ночью упрекал меня, потом, когда я стала Девой Удзи и все время ждала Сайсё, я заплатила тем, что именно из-за нее Сайсё стал жесток со мной. А теперь из-за меня дочь Удайдзина обижена на весь свет и заперлась у себя. Несмотря на то, что связь между нашими домами так глубока, взаимные обиды не знают конца, можно лишь сожалеть, что так получилось!"