Но ажиотаж вокруг литературного дарования Достоевского продолжался недолго. Второй роман молодого писателя «Двойник», который вышел в том же году, что и «Бедные люди», встретил гораздо более прохладный прием. Произведение, сначала заинтересовавшее В. Белинского, в итоге его разочаровало. Отношения Достоевского с Белинским охладились, и на то были свои причины. Состояние высокого подъема, счастья и озарения нередко сочеталось в Достоевском с периодами, когда он становился, по свидетельству Белинского, «в общении с людьми трудным до невозможности, считающим, что весь мир завидует ему и преследует его». «С ним нельзя быть в нормальных отношениях», – говорил критик. Когда Белинскому передавали, что Достоевский считает себя уже гением, то он пожимал плечами и с грустью отвечал: «Что за несчастье, ведь несомненный у Достоевского талант, а если он, вместо того, чтобы разработать его, вообразит уже себя гением, то ведь не пойдет вперед. Ему непременно надо лечиться, все это происходит от страшного раздражения нервов. Должно быть, потрепала его, бедного, жизнь! Тяжелое настало время, надо иметь воловьи нервы, чтобы они выдержали все условия нынешней жизни».
В 1846 году Белинский осудил «манерность» и «вычурность» рассказа Достоевского «Господин Прохарчин», позже резко отозвался о его повести «Хозяйка». Молодого, болезненно самолюбивого писателя очень обижали нелестные отзывы о его произведениях, которые критик называл «нервической чепухой». Мимолетная дружба и теплые отношения между Достоевским и Белинским окончательно сменились разладом и даже некоторой враждой. К этому моменту писатель окончательно испортил отношения и прекратил общение и с Некрасовым, и с Тургеневым, которым не смог простить насмешек и уколов. Мнительный, впечатлительный и тщеславный Достоевский тяжело переживал сложившуюся ситуацию. Сам он объяснял свой разрыв с В. Белинским и его кружком исключительно различиями в убеждениях.
Примерно в это же непростое для писателя время к нему пришла первая мучительная влюбленность. У литератора И. Панаева он познакомился с его женой, Авдотьей Яковлевной, в которую влюбился со всем юношеским порывом. Темноволосая смуглянка с черными огромными глазами, Авдотья Панаева считалась одной из первых красавиц столицы. Через три месяца после знакомства с ней Достоевский писал брату: «Я влюблен не на шутку в Панаеву… Болен нервами и боюсь горячки или лихорадки нервической». Но 22-летняя красавица не обратила никакого внимания на худощавого нервного юношу, отдав предпочтение более настойчивому Н. Некрасову (впоследствии она стала его гражданской женой). В своих воспоминаниях А. Панаева напишет: «С первого взгляда на Достоевского видно было, что это страшно нервный и впечатлительный молодой человек. Он был худенький, маленький, белокурый, с болезненным цветом лица; небольшие серые глаза его как-то тревожно переходили с предмета на предмет, а бледные губы нервно передергивались». Первая болезненная влюбленность закончилась для молодого писателя неудачно и в некоторой степени унизительно. Неудивительно, что 7 октября 1846 года Достоевский напишет брату: «Петербург – ад для меня. Так тяжело, так тяжело жить здесь!» Примерно в это время, согласно свидетельству доктора С. Д. Яновского, у Федора Достоевского появились первые симптомы эпилепсии.