Осуществить это при жизни он не смог. Но в завещании он оставил 13 500 руб. на постройку тёплого храма на Хлебной площади (ныне пл. Ленина). Правда, завещание это так и не было выполнено. В 1850 году городские власти совместно с рязанским духовным управлением решили построить на Хлебной площади, которая к тому времени называлась Новобазарная, часовню. Её постройка осуществилась в честь возведения на царство (коронования) Александра II. Построили её почему-то на том месте, где в старину находился эшафот, на котором казнили особо опасных преступников.
Участь этой часовни была печальна. После революции 1917 г. её снесли до основания, а впоследствии на её месте установили памятник Владимиру Ульянову-Ленину.
Но вернёмся к теме благотворительности предпринимателей Рюминых, которые занимались не только храмостроительством, но благотворили в области культуры и просвещения.
Например, купец II гильдии Иван Иванович Рюмин ежегодно вносил на нужды рязанского приходского училища 200 рублей. А благодаря Николаю Гавриловичу Рюмину в Рязани успешно функционировал пансион (интернат) Пой Мужской гимназии.
Сей почтенный благотворитель в 1833 г. отдал для него часть дворца своего отца Гаврилы Рюмина, доставшийся по наследству другому сыну – Василию. Дворец этот находится на углу улиц Владимирской и Астраханской (ныне Свободы и Ленина – здание художественного музея). В пансионе 1-ой Мужской гимназии жили и учились в начальных классах ученики из уездов Рязанской губернии. Подарив гимназии великолепное здание, Николай Гаврилович пожертвовал ей и 10 тысяч рублей «на первоначальное обзаведение».