Развод с Милевой Марич (он все-таки произошел – в 1919 году) даровал ему свободу, но и отдалил его от любимых сыновей. Он пытался писать им веселые многословные послания, но его отпрыски пребывали не в том настроении, чтобы правильно воспринимать отцовские шутки. Когда ему удалось ненадолго залучить их к себе в Берлин, он купил телескоп и установил его для них на балконе, но даже это не очень-то помогло в налаживании отношений. А когда Эйнштейн сам приезжал к ним в Швейцарию, чтобы в эти дни ходить в походы, которые они так любили прежде, все казалось вымученным, фальшивым, ненатуральным. Однажды он раздраженно написал Гансу Альберту из Берлина, упрекая его в холодности. Но Ганс Альберт возмутился: ведь это отец их бросил, как же он может теперь ждать от них тепла и добрых чувств? Позже Ганс Альберт, вспоминал, что чувствовал «какой-то мрачный покров», словно бы опустившийся на их семейную жизнь.
И хотя Эйнштейн злился на Милеву за то, что она явно настраивала детей против него, он наверняка понимал, что сам отчасти несет ответственность за сложившееся положение вещей. И ради чего? С Эльзой Ловенталь тоже получилось не так, как он надеялся. Он намеревался держать эту связь в строго определенных рамках, продолжать ее на своих собственных условиях. В 1915 году он писал Бессо, что это «превосходные и по-настоящему приятные отношения… стабильность которых гарантируется уклонением от брака». Впрочем, Эльза придерживалась иных взглядов, и в июне 1919 года (когда Эддингтон еще торчал на тропическом острове Принсипи) они все-таки поженились. Почти тотчас же после свадьбы что-то изменилось. Да, Милева иногда ревниво относилась к тому, что ее оставляют за бортом его научных дискуссий, но она, по крайней мере, в общих чертах понимала основные направления его работы. Отсутствие у Эльзы научного образования казалось ему очень милым, пока он злился на Милеву. Но постепенно Эйнштейн начал понимать, что в Эльзе почти ничего нет кроме природной бойкости. «Она не какой-то там светоч интеллекта», – признавался он позже.
В начале их романа Эльза соглашалась с Эйнштейном насчет удовольствий неформальной связи, и ей как будто даже нравилось, когда он вышучивал богатых чопорных берлинцев. Но как только они вместе зажили в ее огромной семикомнатной квартире, в доме с гигантским вестибюлем и швейцаром в ливрее, он почувствовал себя среди этих персидских ковров, громоздкой мебели, бесчисленных шкафчиков с дорогим фарфором словно в западне. Некоторые из знакомых Эльзы иногда не прочь были поразмышлять, однако большинство, как он все больше убеждался, относились к породе беспечных светских болтунов. Но хуже всего было то, что жена стала его опекать, словно ребенка! «Помню, – писала ее дочь, – как мать частенько говорила за обедом: Альберт, хватит мечтать, ешь!» Все это выглядело совсем не романтично.
Вскоре Эйнштейн стал заводить интрижки на стороне. Уже само его присутствие, как вспоминал один архитектор, неплохо его знавший, «действовало на окружающих дам словно магнит на железные опилки». Некоторые из этих дам были моложе Эльзы, некоторые – богаче, а некоторые сочетали в себе оба качества. Они видели перед собой одного из самых знаменитых людей на планете, который при этом не походил на стереотипный образ черствого, сухого интеллектуала. Он по-прежнему пребывал в хорошей физической форме, был широкоплеч (это отмечали друзья, видевшие его без рубашки), любил еврейские анекдоты и грубый швабский юморок. Некоторые актрисы (например, знаменитая Луиза Райнер) вскоре пожелали, чтобы их видели в его обществе. Он проводил вечера у одной богатой вдовы на ее берлинской вилле. Вместе с другой дамой, модным антрепренером, ездил на концерты или в театр, охотно пользуясь принадлежащим ей лимузином с шофером.