12 июля 1922 г. арестован и заключен во Внутреннюю тюрьму ГПУ. Причиной первого ареста Дурылина послужила внутрицерковная борьба между РПЦ и «обновленцами», стремившимися с помощью доносов в ОГПУ вытеснить прежних священников из центральных приходов Москвы и занять их места. Незадолго до ареста Дурылин был избран настоятелем в приход церкви Воскресения Христова в Кадашевском переулке, но по состоянию здоровья (туберкулез) в должность не вступил, не слагая с себя священнического сана. Комиссия приняла решение выслать Дурылина в Хиву сроком на два года. Вследствие письма-ходатайства на имя секретаря ВЦИК А.С.Енукидзе и в Президиум ГПУ о смягчении приговора, подписанных наркомом просвещения А.В.Луначарским, зав. Музо Главнауки Б.Б.Красиным, А.И.Цветаевой и президентом Государственной академии художественных наук профессором П.С.Коганом, 15 декабря 1922 г. Комиссия НКВД по административным высылкам пересмотрела свое прежнее решение и постановила выслать Дурылина в Челябинскую губернию. В январе 1923 г. Дурылин принят в музей Местного края на должность ученого археолога. В 1924 г. он становится одним из организаторов челябинского краеведческого музея и заведующим его археологическим и этнографическим отделом, участвует в раскопках 9-ти курганов под Челябинском в районе озеро Смолино. Посетивший Челябинск Луначарский дал высокую оценку только что организованному Дурылиным краеведческому музею. В ссылке Дурылин начинает работать над книгой эссе «В своем углу» (о встречах с известными современниками и размышления о русских писателях, художниках и композиторах XIX–XX века), над повестью «Сударь кот» с посвящением М.В.Нестерову, над романом «Колокола» (художественные произведения не опубликованы, исключая единственный рассказ «Жалостник» («Русская мысль», 1917); не полностью после смерти опубликованы воспоминания о дореволюционной Москве «В родном углу». М., 1991 и «В своем углу» М., «Молодая гвардия», 2006).
В 1925 году Дурылин возвращается из челябинской ссылки, живет в усадьбе Тютчева Мураново, занимается исследованием творчества Тютчева, учит русскому языку и литературе правнука поэта К.Пигарева, будущего директора Мурановского музея. До 1927 года он внештатный научный сотрудник Государственной академии художественных наук, собирает библиографический материал для «Словаря русских художников», пишет о творчестве В.М.Гаршина, Н.В.Гоголя, К.Н.Леонтьева, Н.С.Лескова, Ф.М.Достоевского, И.Ф.Горбунова.
10 июня 1927 г. — второй арест и заключение в течение 10 месяцев в Бутырской тюрьме по обвинению в пропаганде учения В.В.Розанова. С осени 1927 по 1930 г. ссылка в Томск. 28 июля 1930 г. ОГПУ заменило высылку разрешением проживать в 7-ми областях и округах СССР сроком на 3 года. При содействии основателя серии «Литературное наследство» И.С.Зильберштейна и В.Д.Бонч-Бруевича Дурылину удалось обосноваться в Киржаче, где за полгода по заказу Зильберштейна к 100-летию И.Гете для «Литературного наследства» им был написан 30-листный труд «Русские писатели у Гете в Веймаре» (по материалам русских и немецких архивов, доставляемых Зильберштейном в Киржач). В 30–40 гг. Дурылин работает над рядом фундаментальных исследований на тему «Из истории литературных отношений России и Западной Европы», опубликованных в серии «Литературное наследство»: «Г-жа де Сталь и ее русские отношения», «Александр-Дюма-отец и Россия», «П.А.Вяземский и Revue encyclopedique». Обращается к области театроведения: «Пушкин на сцене» (1935), создает ряд монографических работ, посвященных сценическому воплощению драматургии А.Н.Островского и М.Горького, выступает как театральный критик, ведет лекционную работу от ВТО, МГУ, Союза писателей. В 1935–1936 гг. он старший научный сотрудник музея Малого театра.