У Ивана Ивановича и его жены Меланьи Захаровны было восемь детей. В 1834 году Хлудов становится купцом первой гильдии и переезжает с семьей в Старо-Косьмодемьяновский переулок, в собственный большой дом. Старший сын Савелий тогда уже отделился от отца и начал собственное дело. Давид Иванович вспоминал о своем детстве: «Бывало, в зимнее время, несмотря ни на какую погоду, к утрени (всенощных бдений с вечера зимой в те времена не было в Москве) мы все должны были являться непременно; обыкновенно родитель будил нас до благовеста, во время благовеста одевались и к началу службы были все уже в церкви. А чтобы кто-нибудь из домашних при жизни родителя нарушил какой-нибудь пост, об этом нельзя было и подумать»[147].
Умер Иван Иванович в 1835 году в возрасте сорока восьми лет от простуды. После смерти Хлудова его сыновьям – Тарасу, Алексею, Назару, Герасиму и Давиду – достался солидный капитал в двести тысяч рублей. Совершеннолетним из всех братьев был только Тарас, на плечи которого и легло управление отцовским наследством. Но очень скоро Тарас умирает, и дело остается Алексею и Назару (Герасиму и Давиду к тому времени было только пятнадцать и шестнадцать лет соответственно). В 1842 году Хлудовы организовали торговый дом «А., Н., Г. и Д. Ивана Хлудова сыновья». Вскоре происходит деловое воссоединение братьев с Савелием: все вместе они создают в родном Егорьевском уезде бумагопрядильную фабрику. Дело было рискованным, но, взвесив все за и против, Хлудовы пошли на риск. В книге «Мы – егорьевцы» краеведа В.И. Смирнова есть описание строительства фабрики: «Когда рыли канавы для фундаментов, находили окаменелые раковины с перламутровым и металлическим блеском, и землекопы говорили хозяевам в шутку: «На золотом месте строитесь». На что Хлудовы, которые не могли не волноваться за успех нового дела, куда было вложено все их состояние, отвечали: «Да, или мы здесь золото добудем, или уж пойдем вместе с вами землю копать»[148].
И действительно озолотились братья Хлудовы! Да еще и жителям родной деревни дали постоянный заработок. На производстве работало несколько сотен человек, которые обслуживали пятнадцать тысяч веретен. Вскоре на фабрике были установлены прядильные станки и паровые машины из Англии. В 1851 году Хлудовы купили фабрику Райта в Ярославле, значительно увеличив производительность. Через десять лет они уже имели больше миллиона чистого капитала. Братья активно участвовали в общественной жизни города, были известными благотворителями и жертвователями. Алексей Иванович коллекционировал рукописи и старопечатные книги, которые теперь находятся в Государственном историческом музее. В его коллекцию входило более трехсот пятидесяти рукописей, некоторые из них датировались XIII – XIV веками. Герасим Иванович собирал картины художников, преимущественно русской школы. В Москве Хлудовы открыли и содержали богадельню в Сыромятниках, Крутицкие казармы, Алексеевскую психиатрическую больницу, бесплатные квартиры, школу для сирот и одну из первых детских клиник.
После смерти Меланьи Захаровны родительский дом достался семье младшего брата Давида Ивановича. В 1857 году он стал городским головой Егорьевска и с тех пор мало интересовался фабрикой, зато с удвоенной энергией занимался делами милосердия. Е.Б. Новикова, предками которой были Хлудовы, в книге «Хроника пяти поколений» описывает примечательный случай: «Однажды весной по дороге в Задонск близ города ему нужно было срочно переправиться через реку. Однако мосты разобраны, парома и лодок не было; и не менее суток нужно ждать прохода льда. Давид Иванович решился пойти по ненадежному льду, но не успел он дойти и до середины Дона, как лед зашумел, тронулся, льдины взгромоздились одна на другую. Смерть была почти неизбежна, и он призвал Бога на помощь, дав обещание, что, если будет спасен, всю сумму денег, какую имел при себе – а сумма была весьма значительной – раздать бедным в Задонске. Тогда льдина, на которой он стоял, тихо подошла к берегу, и он сошел на землю, не промочив даже ног. Стоит ли говорить, как велики были его благодарность Господу и щедрость – одна сирота была обеспечена приданым и выдана в замужество, немалая помощь была оказана погорельцам»[149].