В том же году преподобный Серафим пришел в Саровскую обитель. Обстоятельства жизни преподобного Германа на Валааме напоминают об уединенных подвигах его великого современника – Саровского чудотворца. Подобно преподобному Серафиму, валаамский подвижник отличался исключительным и проникновенным знанием духа и буквы Священного Писания, творений святых отцов и учителей Церкви. Духовным руководителем и наставником будущего миссионера был игумен Назарий, саровский старец, который ввел на Валааме устав Саровской пустыни. Таким образом, благодатный строй саровского подвижничества, в котором совершалось духовное возрастание преподобного Германа на Валааме, стал неотъемлемой частью его души и сделал его родным и исключительно близким по духу преподобному Серафиму, Саровскому чудотворцу. Есть сведения, что преподобный Серафим пользовался, в свою очередь, наставлениями старца Назария во время его жительства в Сарове.
На Валааме отец Герман проходил разные послушания. Испытав его ревность в трудах общежития, мудрый старец отец Назарий отпустил его потом на жительство в пустынь. Пустынь эта находилась в густом лесу, в полутора верстах от обители; доныне местность та сохранила название «Германово». По праздникам приходил отец Герман из пустыни в монастырь и, стоя на клиросе, пел с братией.
Через пятнадцать лет пребывания преподобного Германа на Валааме Господь призвал смиренного инока на апостольское служение и послал его проповедовать Евангелие и крестить язычников малообжитого и сурового края Аляски и прилегающих к ней островов Северной Америки. С этой целью была создана духовная миссия, получившая название Кадьякской, с центром на острове Кадьяк. Отец Герман на новом месте поначалу нес послушание в пекарне и занимался хозяйственными заботами миссии. Преподобного хотели посвятить в сан иеромонаха и возвести во архимандрита, но смиренный инок отказался от какого бы то ни было возвышения и до конца своих дней пребывал простым монахом.
Отец Герман жил сначала возле храма миссии, на Кадьяке. Затем местом его жительства стал пустынный остров Еловый, названный им Новый Валаам. На этом острове отец Герман выкопал своими руками пещеру и в ней провел первое лето. К зиме была выстроена келия, в которой и жил он до смерти, а пещеру обратил в место своего могильного упокоения. На огороде перед келией преподобный копал гряды, сажал картофель и капусту, сеял разные овощи. К зиме запасал грибы: солил и сушил их; соль приготовлял сам из морской воды или рассола. Плетеный короб, в котором носил старец с берега морскую капусту для удобрения земли, был так велик, что трудно было эту ношу поднять одному, а отец Герман, к великому удивлению всех, переносил ее без посторонней помощи на далекое расстояние. В одну зимнюю ночь ученик его, Герасим, случайно увидел его в лесу, идущего босиком с таким большим деревом, которое под силу нести четверым. Так трудился старец и все, что приобретал таким безмерным трудом, все то употреблял на пропитание, книги и одежду для сирот – своих воспитанников.
Одежда отца Германа была самая убогая и очень ветхая. Рубашки холстяной он не носил, ее заменяла оленья кухлянка, которую он по восьми лет не снимал и не переменял. Сапоги или башмаки, подрясник, ветхая, полинялая, в заплатах ряса и клобук – вот и все его одеяние. В этой одежде он ходил везде и во всякую погоду: и в дождь, и в снежную метель. Постелью ему служила небольшая скамья, покрытая оленьей, вытершейся от времени шерстью, изголовье – два кирпича, которые под голою шкурой оставались незаметными для посетителей: одеяла не было, его заменяла деревянная доска, лежавшая на печке. Эту доску сам отец Герман назвал своим одеялом, завещав ею покрыть его смертные останки, она была совершенно в рост его. Если же по какому-либо особенному случаю нужно было ему ночевать вне келии, то утром всегда находили постель, постланную для него, совершенно нетронутою, а старца не спавшим. Точно так и в своей пустыни, проведя ночь в беседе, не предавался он отдохновению. Ел старец весьма мало. В гостях чуть отведывал какого-либо кушанья и оставался уже без обеда. Тело его, изнуренное трудами, бдением и постом, сокрушали пятнадцатифунтовые вериги. Эти вериги в настоящее время находятся в часовне, где за образом Божией Матери найдены они были после смерти старца.
Описанные черты жизни старца касаются, прежде всего, внешнего его делания. «Главное же его дело, – вспоминал преосвященный Петр, бывший епископ Ново-Архангельский, викарий Камчатской епархии, – было упражнение в подвигах духовных, в уединенной келии, где никто его не видел, и только вне келии слышали, что он пел и совершал богослужение по монашескому правилу». Такое свидетельство преосвященного подтверждает и ответ самого отца Германа. На вопрос: «Как вы, отец Герман, живете один в лесу, как не соскучитесь?» он отвечал: «Нет, я там не один. Там есть Бог, как и везде есть Бог! Там есть Ангелы, святые! И можно ли с ними скучать? С кем же лучше и приятнее беседа, с людьми или с Ангелами? Конечно, с Ангелами!»