В Технологическом институте Иоффе занимался еще и чисто инженерными работами, в основном во время летней практики. По окончании Технологического института (1902 г.) А.Ф. Иоффе, заручившись рекомендациями Н.А. Гезехуса и директора Палаты мер и весов профессора Н.Е. Егорова, направился в Мюнхен, где в те годы работал В.К. Рентген. В годы работы в лаборатории Рентгена (1903–1906) А.Ф. Иоффе выполнил ряд крупных исследований. К их числу нужно отнести прецизионный эксперимент по определению «энергетической мощности» радия. Работы А.Ф. Иоффе по механическим и электрическим свойствам кристаллов, выполненные в мюнхенские годы, носили систематический характер. В процессе их проведения на примере кристаллического кварца им был изучен и правильно объяснен эффект упругого последействия. Изучение электрических свойств кварца, влияния на проводимость кристаллов рентгеновских лучей, ультрафиолетового и естественного света привели А.Ф. Иоффе к открытию внутреннего фотоэффекта, выяснению пределов применимости закона Ома для описания прохождения тока через кристалл и исследованию своеобразных явлений, разыгрывающихся в приэлектродных областях. Все эти работы Иоффе закрепили за ним репутацию физика, глубоко вдумывающегося в механизмы изучаемых им процессов и с исключительной точностью проводящего опыты, расширяющие представления об атомно-электронных явлениях в твердых телах.
После блестящей защиты докторской диссертации в Мюнхенском университете в 1905 г., А.Ф. Иоффе все-таки отказывается от лестного предложения своего учителя Рентгена остаться в Мюнхене для продолжения совместных исследований и преподавательской работы и возвращается в Россию. С 1906 г. А.Ф. Иоффе начал работу в должности старшего лаборанта в Петербургском политехническом институте.
В физической лаборатории института, которую возглавлял В.В. Скобельцын, Иоффе в 1906–1917 гг. были выполнены блестящие работы по подтверждению эйнштейновской квантовой теории внешнего фотоэффекта, доказательству зернистой природы электронного заряда, определению магнитного поля катодных лучей (магистерская диссертация Петербургский университет, 1913 г.). Наряду с этим А.Ф. Иоффе продолжил и обобщал в докторской диссертации (Петроградский университет, 1915 г.) начатые еще в Мюнхене исследования по упругим и электрическим свойствам кварца и некоторых других кристаллов.
За эти и некоторые другие исследования Академия наук в 1914 г. наградила А.Ф. Иоффе премией им. С.А. Иванова. К этим важнейшим циклам исследований А.Ф. Иоффе, добавим еще два: Одно из них – теоретическая работа ученого, посвященная тепловому излучению, в которой получили дальнейшее развитие классические исследования М. Планка. Другая работа, также была выполнена им в физической лаборатории Политехнического института в соавторстве с преподавателем этого института М. В. Миловидовой-Кирпичевой. В работе исследовалась электропроводность ионных кристаллов. Результаты исследований по электропроводности ионных кристаллов были впоследствии, уже после окончания первой мировой войны, с блеском доложены А.Ф. Иоффе на сольвеевском конгрессе 1924 г., вызвали оживленную дискуссию у его знаменитых участников, и получили их полное признание.
Наряду с интенсивной исследовательской работой, А.Ф. Иоффе много сил и времени уделял преподаванию. Он читал лекции не только в Политехническом институте, профессором которого стал в 1915 г., но также на известных в городе курсах П.Ф. Лесгафта, в Горном институте и в университете. Однако самым главным в этой деятельности Иоффе била организация в 1916 г. семинара по новой физике при Политехническом институте. Именно в эти годы А.Ф. Иоффе – сначала участник, а потом и руководитель семинара – выработал тот замечательный стиль ведения такого рода собраний, который создал ему заслуженную известность и характеризовал его как главу школы. Семинар Иоффе в Политехническом институте по праву считается важнейшим центром кристаллической физики.