В то время как Невельской принимал меры к обороне края, спасению кораблей и груза, к устройству вновь прибывших более или менее сносно, генерал-губернатор со значительным подкреплением вновь спустился по Амуру.
Второй сплав состоял из трех отделений: 1-е - из 26 барж под начальством самого Муравьева; 2-е - из 52 барж и 3-е - из 35 барж. Кроме солдат, казаков, артиллерии и военных запасов, на этот раз ехали на Амур и первые переселенцы - крестьяне.
Муравьев спустился по Амуру, имея относительно всех амурских проблем планы и намерения, в большей части противоположные планам и намерениям Невельского.
Невельской требовал занимать край к югу, до самой корейской границы, не удовлетворяться левым берегом Амура, как хотел Муравьев.
Губернатор считал, что Невельской сделал свое дело и теперь уже становится "вреден". Кроме того, Муравьев ни с кем не хотел делить лавры и не желал, чтобы Невельской еще и еще раз мог оказаться правым и бросить тень на славу генерал-губернатора, будущего графа Амурского.
Еще в пути Муравьев составил предписание, которое и отправил в Николаевск к Невельскому с мичманом Литке:
"1. Амурская экспедиция заменяется управлением камчатского губернатора контр-адмирала Завойко, местопребыванием которого назначается Николаевск.
2. Вы назначаетесь начальником штаба при главнокомандующем всеми морскими и сухопутными силами, сосредоточенными в Приамурском крае.
3. Все чины, состоящие в Амурской экспедиции, поступают под начальство контр-адмирала Завойко.
4. Главною квартирою всех наших войск назначается Мариинский пост".
Истинный смысл нового назначения - отстранение от дел - вполне понятен был Невельскому. Давно назревший удар жестоко потряс Геннадия Ивановича. Исполняя приказ, он сдал дела и с женою и дочерью-малюткой отправился в Мариинский пост, где его поместили в двух тесных сырых комнатках, как человека, оказавшегося не у дел.
Период самоотверженной, романтической борьбы окончился. Сошли со сцены герои, для которых выше всего в мире были благо родины и честь. В краю утверждались нравы и принципы царской бюрократии.
Но просто отставкою не ограничились лица, для которых невыгодно было, чтобы истинное значение Невельского стало известно. Биографы-панегиристы Муравьева - Барсуков, Ефимов, Шумахер и др. - приложили немало усердия, чтобы затушевать, отодвинуть в тень фигуру истинного героя бескровного воссоединения с Россией Дальневосточного края.
К концу 1855 года в устье Амура кипела жизнь. До 5 тысяч человек беспрепятственно сосредоточились в местах, где раньше бродили только небольшие группы охотников и рыболовов.
Фрегат, корвет, пароход "Аргунь", паровой катер "Надежда" и около полдюжины мореходных парусных судов стояли на рейде в Амуре, против города Николаевска.
А между тем четыре года тому назад Нессельроде и другие министры не соглашались пустить сюда Невельского на байдарке и вооруженного ручным лотом, боясь мифической китайской флотилии и четырехтысячного гарнизона.
На берегу Амура, там, где недавно в тесной землянке жили лейтенант Бошняк и несколько матросов, раскинулся шумный городок. Десятки палаток и вновь выстроенных домов виднелись на склоне.
По улицам, где еще торчали пни только что срубленных деревьев, проходили отряды солдат и моряков. Гремели песни, с реки доносились пароходные гудки.
С рассвета и дотемна стучали топоры и визжали пилы.
Множество офицеров и чиновников распоряжались на пристани и возле построек.
Афанасий, принесший Невельскому в подарок дичи, растерянно бродил между новенькими срубами, не встречая ни одного знакомого лица. Тщетно спрашивал он у солдат и офицеров, как найти "Невельской-джангин". От него досадливо отмахивались. Никто не интересовался Невельским, и никто не мог сказать охотнику, что его "джангина" давно нет в Николаевске.
Геннадий Иванович в Мариинске целые дни проводил за разбором донесений, писем и отчетов своих сподвижников, заново переживая незабываемые годы борьбы и побед.
Он был ласков с женою и дочкой, но необычайно молчалив и замкнут. Только осунувшееся, еще более постаревшее лицо свидетельствовало о том, как остра была боль и как горька обида.
Ему пришлось много ждать, пока у новых администраторов нашлась возможность отправить его с семьей на родину.
Но вот наступил дань отъезда. На палубе судна, глядя на исчезающие навсегда гористые берега, стоял Невельской, одной рукой обняв прижавшуюся к нему жену, а на другой держа худенькую дочь.
Они навсегда прощались с краем, где прошли лучшие годы их жизни и тягчайшие годы. Надежды, здоровье, молодость - все было отдано этой суровой земле, здесь оставалась маленькая одинокая могила их ребенка. Они стояли молча, прижавшись друг к другу. Безмолвные слезы бежали по поблекшим щекам Екатерины Ивановны, сурово сдвинулись густые брови Невельского. Они стояли и смотрели в сторону ставшего родным края, смотрели, пока далекие берега не поглотил опустившийся туман...
Петербург недоброжелательно встретил Невельского. Клевета преследовала его и там.