Историки считают, что, возможно, причина – обычная человеческая зависть, вызванная вездесущностью и неустанным возвышением Оленина, а также контраст его положения с внешностью. Алексей Николаевич был очень маленького роста. Его в свете обзывали лилипутом. Знакомый Оленина и один из самых известных русских мемуаристов Филипп Вигель язвил: «Чрезмерно сокращенная особа». Сенатор и страстный театрал Степан Жихарев описывал его как «маленького и очень проворного человечка». Троюродная сестра Льва Толстого Мария Каменская вспоминает Алексея Николаевича в генеральском мундире, сапогах с кистями и шпорами, на маленькой голове шляпа с громадным султаном, а на боку палаш больше самого хозяина: «Тогда он был уморительно смешон и гораздо более походил на детскую игрушку casse-noisete». Но куда больше Оленину досталось от А. С. Пушкина: «о двух ногах нулек горбатый», «пролаз, нулек на ножках». Пушкин одно время был частым гостем Олениных. Их дом был одним из самых известных и модных интеллектуальных центров Петербурга. В неформальный оленинский кружок входили самые известные писатели, от Крылова до Грибоедова, художники и ученые. При этом Алексей Николаевич с одинаковым радушием принимал членов императорской семьи и сына крепостного, художника Федора Солнцева. Современники писали, что нигде больше было не найти «столько образованной приветливости»! При этом дом Оленина выделялся привязанностью к русскому старинному укладу. Как считается, здесь-то Пушкин и увлекся преданиями старины глубокой. Но, увы, не только ими. Весной 1828 года Александр Сергеевич начал ухаживать за дочерью Оленина Анной, одной из самых блестящих красавиц той эпохи. Она была невероятно обворожительна, красива, с легкостью разбивала мужские сердца, великолепно пела, писала музыку, стихи, прозу. Поэт Петр Вяземский называл ее «бойкой штучкой» и шутил, что она «мала и резва, как мышь». Это ей посвящены многие любовные стихотворения Пушкина, к примеру:
Ну а потом он напишет в альбом Анны свои самые знаменитые строки:
Все дело в том, что Александр Сергеевич посватался к Анне Олениной. Видимо, рассчитывая на взаимность. Он даже писал на полях «Annete Pouchkine», примеряя на девушку свою фамилию. Вот только юная придворная красотка, хоть и кокетничала с поэтом, которого назвала в дневнике «самым интересным человеком своего времени», была к нему равнодушна. Вот как она описала его: «Бог, даровав ему гений единственный, не наградил его привлекательной наружностью. Лицо его было выразительно, конечно, но некоторая злоба и насмешливость затмевали тот ум, который виден был в голубых, или, лучше сказать, стеклянных, глазах его. Арапский профиль, заимствованный от поколения матери, не украшал лица его. Да и прибавьте к тому ужасные бакенбарды, растрепанные волосы, ногти как когти, маленький рост, жеманство в манерах, дерзкий взор на женщин, которых он отличал своей любовью…» Категорически против этого брака была и мать Анны. К тому же доброжелатели передали девушке, что поэт злословил в свете об ее семье: «Мне бы только с родными сладить, а с девчонкой я уж слажу сам». По слухам, Алексей Николаевич поговорил с женихом один на один и после этого поэт перестал бывать у Олениных. Печально и то, что после этого вчерашнюю неземную музу Александр Сергеевич описывает уже так:
Вот тогда-то досталось и Алексею Николаевичу: «пролаз, нулек на ножках» и так далее.