Действительно, у Никиты Ивановича единственным, лучшим, довереннейшим другом оставался его брат Петр. Как уже сказано, братья поразительно отличались друг от друга темпераментом, характером, да и внешностью: один — суровый, высокий, военный, другой — мягкий, круглый, домашний. Но при этом они были удивительно дружны, относились друг к другу с нелепостью и любовью, которую пронесли до конца своей жизни. В ранней юности Никита писал брату: «Всеконечно себя почитаю быть вам братом и другом на то, чтоб все хорошее и худое делить пополам».
Тут-то и пришло время делить все пополам. У Петра Ивановича в начале 1770-х годов тоже начались большие проблемы. Тогда он жил в Москве, в отставке… В комедии «Недоросль» Дениса Фонвизина есть место, которое прямо относится к истории отставки Петра Панина. Стародум рассказывает Правдину о своей истории: «Вошед в военную службу, познакомился я с молодым графом, которого имени я и вспомнить не хочу. Он был на службе меня моложе, сын случайного отца, воспитан в большом свете и имел особливый случай научиться тому, что в наше воспитание еще не входило».
«Сын случайного отца» — это сын человека «в случае», то есть фаворита. Имелся в виду Петр Румянцев, сослуживец Панина, в молодости известный гуляка и бездельник. И дальше банальная история: раненный в боях Стародум получает известие, «что граф, прежний мой знакомец… произведен чином, а обойден я — я, лежавший тогда от ран в тяжкой болезни. Такое неправосудие растерзало мое сердце, и я тотчас подал в отставку». Строго говоря, дело обстояло иначе. И Румянцев и Панин, равные в чинах, приняли участие в Русско-турецкой войне во главе армий и добились громких побед. Панин с огромными потерями взял сильную крепость турок Бендеры, а Румянцев одержал две блестящие победы при Ларге и Кагуле. На фоне этих подвигов Румянцева, «сына случайного отца», успех Панина показался в Петербурге неблестящим. Соответственно были распределены и награды: за Кагул Румянцев получил чин генерал-фельдмаршала, а Петр Панин за Бендеры удостоился ордена Георгия 1-й степени. Этот орден Румянцев уже имел за победу у Ларги. Словом, для кого как, а для Петра Ивановича война закончилась со счетом 2: 1 в пользу «выскочки». Да еще императрица прислала ему сухой рескрипт, без сердечности, а при этом изволила сказать сквозь зубы: «Чем столько потерять и так мало получить, лучше бы совсем не брать Бен-дер». В гневе Панин ушел в отставку, уехал в Москву, где повел себя довольно резко…
Москва в то время была большой деревней, в которой оседали все уволенные от двора сановники, словом, недовольные, оппозиционеры. Петр Панин, человек резкий и откровенный, стал центром московской фронды, вел себя вызывающе, открыто критикуя политику Екатерины, а главное — нравы при дворе и поведение, ее сподвижников. Постоянно получая из старой столицы рапорты о высказываниях и выходках Петра Панина, Екатерина начала кипеть, сочла генерала «первым своим врагом», «персональным оскорбителем, дерзким болтуном» и даже велела учредить за ним негласный надзор. Главнокомандующий Москвы князь M. Н. Волконский доносил государыне: «Повелеть изволите, чтоб я послал в деревню Петра Панина надежного человека выслушать его дерзкие болтания… Подлинно, что сей тщеславный самохвал много и дерзко болтал, и до меня несколько доходило, но все оное состояло в том, что все и всех критикует».
Все это, конечно же, было хорошо известно Никите Ивановичу в Петербурге, и он старался притушить пожар. И однажды, когда императрица и ее ближайшие советники обсуждали, кого направить вместо опозорившегося генерала Кара на подавление вспыхнувшего восстания Пугачева, Никита Иванович предложил кандидатуру брата в главнокомандующие карательными войсками. Екатерина согласилась. Петр Панин действовал против Пугачева столь же жестко, решительно, как и говорил. Бунт был подавлен, Панин отличился, но… тотчас был уволен со службы. Императрица была злопамятна… Панин забился снова в свою московскую нору.