В гостеприимном и радушном доме Олениных имелось еще одно милое и чарующее существо — Аннета Фурман. Она рано потеряла мать, а ее отец — выходец из Саксонии Фридрих Антонович Фурман — женился вторично. Маленькую Аннету взяла на воспитание бабушка, а после ее смерти девочка попала под крыло добрейшей Елизаветы Марковны. Аннета выросла и воспиталась в семье Олениных наряду с их дочерьми. Теперь она превратилась в красивую девушку с правильными чертами лица, голубыми прозрачными глазами и золотистыми локонами. Она была неизменно со всеми мила, услужлива, чуть-чуть кокетлива. За ней ухаживали. Нежно и застенчиво в нее был влюблен Батюшков. Он посвятил ей томные и грустные стихи — «Мой гений», в которых воспевал голубые очи и золотые локоны «пастушки несравненной». Пастушка была мила с ним, но холодна. Говорили даже, что эта неразделенная любовь стала причиной меланхолии поэта, перешедшей впоследствии в душевную болезнь.
Следующим претендентом на руку Аннеты явился Николай Иванович Гнедич, который, убедившись в безнадежности страсти к Катеньке Семеновой, сделал официальное предложение золотокудрой пастушке. Но Аннета отказала и новому искателю. Ее пугали изуродованное лицо и суровая важность переводчика «Илиады». Прельстился прекрасной пастушкой и Иван Андреевич. Он стал тщательнее бриться, причесываться, сделался разговорчивее и любезнее. Всегда небрежно одетый, он приоделся, завел тонкое белье из голландского полотна. Иван Андреевич, однако, скоро понял, что и ему не улыбнется счастье у прекрасной пастушки. Анкета была к нему внимательна и благосклонна; он шутил с ней, как с ребенком, приносил сладости. Она дарила его дружбой, но баснописец был более чем вдвое старше, и она не захотела связать с ним свою судьбу.
В 1820 году старый Фурман вызвал дочь в Дерпт, где в это время проживал, для того, чтобы она воспитывала его младших детей. Это был удар и для Аннеты и для Ивана Андреевича. Аннета давно отвыкла от отца. Да и участь воспитательницы своих сводных сестер не была заманчивой. Уезжала она со слезами. Через год старый Фурман перебрался в Ревель. Жизнь Аннеты у отца оказалась настолько печальной, что она приняла, хотя и без особенной радости, предложение состоятельного местного коммерсанта Оома и вышла за него замуж. К несчастью, господин Оом вскоре же после брака разорился, и бедной Аннете пришлось пожертвовать скромным приданым для удовлетворения ненасытных кредиторов.
Иван Андреевич вместе с А. Н. Олениным приезжал в 1824 году в Ревель и навестил бедняжку. Это было его первым и последним путешествием. Труд но ему оказалось расстаться с установившимися привычками, ехать на пироскафе, переносить дорожные неудобства и качку.
Аннета с мужем перебралась снова в Петербург под покровительство Олениных. Бремя семьи теперь пало на ее нежные плечи. Оома Алексей Николаевич устроил на службу в Академию художеств, а Аннета давала уроки русского языка в немецком пансионе госпожи Гельмерсен. Но во время наводнения 1824 года вода залила их квартиру, и господин Оом простудился и вскоре умер. Аннету — теперь ее называли Анной Федоровной — устроили воспитательницей в Сиротском институте. Ее достоинства были оценены императрицей Марией Федоровной: госпожу Оом назначили директрисой института и дали ей там небольшую квартирку. Иван Андреевич остался по-прежнему предан прекрасной пастушке. Он навещал ее на новой квартире, даже подарил мебель красного дерева для убранства гостиной.
Незадолго до смерти неудачливого господина Оома Анна Федоровна родила сына, крестным отцом его стал Иван Андреевич. Крылов нередко просиживал вечера в ее уютной гостиной с огромными изразцовыми печами, сложенными еще при императрице Елизавете Петровне. Анна Федоровна занималась рукоделием, в котором была великая искусница, а Иван Андреевич играл с маленьким крестником.
Дома неуютная, вечно неприбранная квартира, неряшливая, надутая Феничка. На службе в библиотеке жизнь неподвижная, словно застывшая в больших прохладных залах между огромными шкафами с тысячами книг. Милая суматоха, привычный покой и веселая болтовня в доме Олениных. Но ему хотелось другого: сердечного тепла, женского обаяния, внимательно-ласкового взгляда, неуловимого пожатия руки. У Анны Федоровны были по-прежнему золотые волосы и небесно-голубые глаза, но она стала озабоченной, одевалась в темно-серые платья строгого фасона, всегда куда-то спешила, или ее вызывали по делу. Он любил смотреть, как в свободные часы ловко и быстро двигались ее изящные, словно выточенные пальцы, вышивая цветистые шелковые узоры, как отсвечивали на солнце ее волосы.