Абхай большую часть времени проводил вдали от дома. Постепенно он отдалялся от семьи, и, когда раз в несколько месяцев он встречался с женой и детьми, тесть упрекал его: «Ты всегда где-то далеко. Ты только поклоняешься Богу, а о семье совсем не заботишься». Абхай по возможности посылал семье какие-то небольшие суммы.
Судхир Кумар Датта (племянник Абхая): Иногда я замечал, что он думает об очень многом — и о семье, и о своих трудах, и о том, как расширить дело. «Что делать, что делать?» Он серьезно думал, как увеличить прибыль от своего бизнеса. Однако для этого пришлось бы уделять делу больше времени. А литературную работу он ни за что бы не бросил. Он писал все больше и больше, и иногда люди упрекали его: «Эй, ты пишешь религиозные книги и думаешь только о Боге! А семью кто будет кормить? Что ты для семьи сделал?»
Иногда он возражал:
— А что дала мне семья? Почему я должен забыть о Боге? Я поступаю правильно, но вам этого не понять.
Приезжая в Калькутту, Абхай останавливался в доме тестя — там у него была отдельная комната. Когда однажды жена подала ему обед, он заметил, что вся пища покупная.
— Почему? — спросил он.
— Повар заболел, — ответила Радхарани.
Абхай подумал: «Лучше переехать из дома ее отца — здесь она испортится еще больше». Поэтому вскоре они переехали на новое место — на улицу Четла. Иногда он жил здесь с семьей по нескольку месяцев, сочиняя статьи и понемногу занимаясь делами, но все-таки большую часть времени проводил в Аллахабаде.
В Аллахабаде пятидесятичетырехлетний Абхай жил как ванапрастха, то есть человек, удалившийся от семейных дел. Он был равнодушен к семье и бизнесу — к тем вещам, которые обычный семьянин считает своей главной заботой и главным источником счастья.
В своих статьях Абхай не раз обращался к теме четырех ашрамов, духовных укладов ведического общества: брахмачарьи, грихастхи, ванапрастхи и санньясы. На первой ступени (в ашраме брахмачари) родители посылают маленького мальчика в дом гуру, в гурукулу, где он живет в строгости и простоте, постигая под руководством учителя Веды. Так в детстве и в юности он учится аскетизму и осваивает духовное знание. На этих двух принципах будет строиться вся его дальнейшая жизнь.
По достижении двадцати одного года брахмачари может жениться и так перейти на следующий этап — грихастха-ашрам. Или же, подобно Бхактисиддханте Сарасвати, может принять решение на всю жизнь остаться брахмачари. В юности Абхай соблюдал обет целомудрия, а отец и мать воспитали его в духе преданности Кришне. Хотя он и жил дома, воспитывали его как брахмачари. Женившись в возрасте двадцати одного года, он вступил в грихастха-ашрам в самое подходящее для этого время. На примере Гоура Мохана Абхай видел, что можно оставаться преданным Кришны, даже ведя семейную жизнь. Будучи вайшнавами, Абхай и его жена благополучно избегали всех неприятностей семейной жизни материалистов.
В пятьдесят лет человеку полагается отойти от семейных дел. Этот период именуется ванапрастхой. В ашраме ванапрастхи муж и жена по взаимному согласию прекращают половые отношения; они продолжают жить вместе, но только ради духовной взаимопомощи. Готовясь к неизбежному уходу из материального мира, супруги-ванапрастхи могут отправиться в паломничество по святым местам Индии. Таким образом, система ведических ашрамов позволяет человеку исполнить все его материальные желания, а затем разорвать круг повторяющихся рождений и смертей и достичь вечной духовной обители. В возрасте пятидесяти лет стареющее тело должно напомнить человеку о приближении неотвратимой смерти, и у него должно хватить разума, чтобы правильно к ней подготовиться.
На последней стадии, в санньяса-ашраме, мужчина оставляет свою жену на попечение взрослого сына и полностью посвящает себя служению Верховному Господу. В давние времена санньяса-ашрам предполагал жизнь, посвященную суровой аскезе. Но в традиции Гаудия-вайшнавов, представителем которой был Шрила Бхактисиддханта, большее значение придавалось проповеди.