В 1931 г. он вернулся в Ленинград, в Физико-технический институт, созданный Иоффе сразу после революции и бывший в то время основным крупным институтом физики в СССР. За 13 лет своего существования этот институт разросся и от него стали отпочковываться по всему Союзу другие научные центры. Их уже было три: в Томске, в Свердловске и в Харькове, который в те годы был столицей Украины. Харьковский физико-технический институт был организован и руководился И. В. Обреимовым. Основной его тематикой была физика твердого тела и низких температур. В 1932 г. Ландау приезжает в Харьков, где он работает в Физико-техническом институте в продолжение 5 лет. Тут в Харькове развивается его научная и учебная деятельность. Под его руководством быстро разрастается теоретический отдел института. Он заведует кафедрой теоретической физики на физико-механическом факультете Механико-машиностроительного института и с 1935 г. — кафедрой общей физики в Университете.
К годам его пребывания в Харькове относится ряд основных работ Ландау: по теории фазовых переходов второго рода, кинетическое уравнение при кулоновском взаимодействии частиц, теория промежуточного состояния в сверхпроводимости и ряд других работ, охватывающих широкий фронт теоретической физики. Эти работы Ландау и его учеников сделали в те годы Харьков центром теоретической физики СССР. Там собирались конференции, на которые приезжали зарубежные ученые.
В 1935 г. в Москве был создан Институт физических проблем для того, чтобы я продолжал в нем работы, начатые мною в Кембридже, и благодаря доброй воле Резерфорда я смог перевести свое оборудование из Мондовской лаборатории и после трехлетнего перерыва возобновить свою работу по сильным магнитным полям. После того, как в ИФП началась научная работа, сюда в 1937 г. из Харькова приехал Ландау, а через год — его ближайший ученик и друг, соавтор по курсу теоретической физики Е. М. Лифшиц.
В ИФП Ландау создал отдел теоретической физики и организовал общемосковские семинары по теоретической физике. В 1937 г. Ландау женился на К. Т. Дробанцевой, харьковчанке, по образованию инженере-пищевике. В ИФП Ландау неизменно работал до конца своих дней. Только в 1938 г. происходит годичный перерыв в его работе. С 1941 по 1943 гг. в связи с войной ИФП с основной своей группой сотрудников, в том числе и Ландау, был эвакуирован в Казань. После возвращения в Москву Ландау продолжал работать в ИФП, и на территории этого же института он жил до конца своей жизни. С 1943 г. он возобновил также и свою педагогическую деятельность — на физико-техническом и физическом факультетах Московского университета.
В 1946 г. у него родился сын Игорь, который теперь также работает в ИФП; он начинающий физик, но в отличие от своего отца он экспериментатор.
7 января 1962 г. Ландау стал жертвой автомобильной аварии. Легковую машину, в которой он ехал по обледенелой дороге, занесло и она столкнулась с грузовиком. Из всех пассажиров серьезно пострадал только Ландау. У него был перелом основания черепа, ребер и тазовых костей. В продолжение 6 недель Ландау был без сознания, несколько раз врачи считали, что наступает смерть. В спасении жизни Ландау принимали участие крупнейшие врачи из ряда стран. Так, из Канады в Москву приезжал Пенфилд, член Королевского общества, крупнейший нейрохирург. Когда к Ландау вернулось сознание, его умственные способности восстанавливались очень медленно, и к творческой научной работе он вернуться уже не смог. Последние шесть лет он только формально продолжал числиться заведующим теоретическим отделом ИФП. Его физическое здоровье также полностью не восстановилось и он умер 1 апреля 1968 г. после тяжелой операции, связанной с возникшей кишечной непроходимостью.
С самого молодого возраста душевные силы Ландау были отданы научной работе. Выработанный им процесс научной работы был весьма своеобразным. Основное его свойство заключалось в том, что его личные работы трудно было отделить от научной работы с его учениками. Я себе не представляю, как Ландау мог бы так успешно работать в таком количестве областей физики без своих учеников. Эта работа осуществлялась в непрерывных беседах и регулярных семинарах, где сам Ландау был наиболее активным членом, часто выступал и делал доклады. Его доклады, в отличие от докладов большинства физиков-теоретиков, были коротки, четкого изложения и исключительно большой концентрации мысли. Такими же четкими и ясными были критические замечания Ландау по докладам на семинарах и конференциях. При этом Ландау не упускал возможности в острой форме показать ошибки докладчика. Когда он был молод и делал это по отношению к почтенным профессорам, то это приводило к тому, что в высокой академической среде у него появились недоброжелатели, и если бы не большой талант Ландау и его большая преданность науке, его карьера могла бы сильно пострадать.