Пир Али Хан ничего не ответил, но спустя несколько дней пригласил братьев брахманов на концерт во дворце правителя. В комнате по соседству с залом, где гости слушали музыку, был накрыт стол с мусульманскими блюдами, в том числе и из говядины. Когда запахи достигли концертного зала, Пир Али Хан с улыбкой заметил: «Если нюхать — это почти есть, как утверждают ваши религиозные законы, значит, вы отведали запретную пищу и утратили чистоту вашей касты».
В панике индусы поспешно удалились, зажимая носы. Но позорное пятно осталось. С тех пор семья Тагоров, как считается, упала в кастовой иерархии, и поныне брахманы смотрят на нее сверху вниз и называют презрительно «пирали-брахманы».
Положение брахмана в индийском обществе почти полностью зависит от чистоты и святости его касты. Потеряв эту «чистоту», семья брахмана оказывалась в положении изгоев, породниться с ней решался далеко не каждый. Для правоверных индусов того времени — а до известной степени и теперь — не существовало большего позора, чем иметь в доме незамужнюю дочь. Поэтому семья «пирали-брахманов», изгнанная из родных мест, вынуждена была скитаться еще и в поисках мужей для своих дочерей. Нужно было обладать немалой смелостью, чтобы взять в жены дочь из этой семьи. Таким смельчаком оказался некий Джаганнат Кушари — некоторые, впрочем, утверждают, что это не он, а его сын Пурушоттам женился на племяннице злосчастных братьев Камадева и Джайадева, неуместная шутка которых стала причиной несчастий для всего их рода. Случилось это где-то в последней четверти XV века.
Породнившись с заклейменным позором семейством, род Кушари также принял на себя прозванье «пирали». Пурушоттам был известен своей ученостью и благочестием, но даже он оказался вынужден покинуть родные места и поселиться в маленькой деревушке в Джессоре. Его потомок в пятом колене и в двадцать восьмом колене, считая от основателя рода Бхаттанарайаны, был первым среди тех, кого мы ныне называем семейством Тагоров. Звали его Панчанан Кушари.
Несчастья и гонения сделали выходцев из этого рода склонными к неповиновению и риску. Утратив чистоту касты, они утратили и страх, ибо, помимо этого, им мало что было терять. Воздух был напоен духом риска. В стране происходили неслыханные события. Белые люди из-за океана открыли фабрику и торговую факторию на берегах священной реки Ранги. Их называли «нечистыми варварами», но эти «нечистые» обладали такой властью, что даже мусульманские правители считали благоразумным поддерживать с ними хорошие отношения. Панчанан и его дядя Сукхдев по примеру своих предков покинули родной дом в последнем десятилетии XVII века и поселились в деревне под названием Говиндпур на берегу Ганга, невдалеке от английского поселения. Говиндпур (ныне часть разросшегося города Калькутты) был в то время маленькой рыбацкой деревушкой, все обитатели которой принадлежали к низшей касте. И то, что семья брахманов поселилась в их среде, казалось им почти невероятным. Панчанана они стали называть Панчанан Тхакур — Тхакур означает «святой владыка», оказывая тем ему высший знак внимания. Панчанан нашел себе доходное занятие — поставлять провизию на иностранные суда, плывшие по реке. Англичане и прочие иностранцы, которым приходилось вести дела с Панчананом, естественно, решили, как сделало бы большинство иностранцев даже теперь, что Тхакур — прозвище Панчанана или его фамилия. Поэтому они обращались к нему «мистер Тхакур», а поскольку не могли правильно выговаривать незнакомое имя, произносили его как Тагор или Тагур.
Под этим именем Тагоры и обрели известность.