Беспорядок, царивший в женевской церкви, поразил его. «Когда я впервые увидел эту церковь, — писал он впоследствии, — она представляла собой нечто бесформенное. Проповедовали — и это было все. Разыскивали идолов и сжигали их — и в этом заключалась вся Реформация. Всюду господствовал хаос». В этот хаос Кальвин решил внести порядок. Одной из первых его забот стало составление катехизиса, где в общедоступной форме излагались основные начала нового учений. С той же целью было составлено евангелическое исповедание. Но этих мер, конечно, оказалось недостаточно. Необходимо было позаботиться о том, чтобы народ не только усвоил себе истины нового учения, но и выполнял все его предписания. Кальвин и Фарель стали добиваться введения церковного отлучения как самого действенного средства для поддержания строго порядка и дисциплины в церкви. Городской совет, писали они, должен избрать из среды граждан людей богобоязненных, безупречной нравственности и поручить им надзор за разными частями города. О всех случаях безнравственного поведения они должны докладывать духовенству, которое, в случае тщетности своих увещеваний, имеет право отлучать грешников от общения с верующими. Если и это средство не приведет к исправлению виновного, его надлежит передавать для наказания властям. Городской совет в начале 1537 г. принял эти требования. Азартных игроков стали выставлять к позорному столбу с картами, привязанными к шее. Женщин, явившихся в церковь с завитыми волосами, подвергали на несколько дней тюремному заключению. Запрещалась всякая роскошь в костюмах, шумные публичные увеселения, танцы, употребление непристойных выражений, божба и т. п. Всякий, кто сохранял у себя дома иконы, четки или другие принадлежности католического культа, считался богоотступником и подвергался жестоким наказаниям.
С этого началась постепенная перестройка духовной и политической жизни Женевы.
Многочисленные проповеди, религиозное обучение детей и взрослых, строгий надзор за нравственностью жителей постепенно продвигали дело Реформации. Мало-помалу город терял свой обычный вид, вместо прежней шумной веселости в нем водворялась почти монастырская тишина. Разумеется, это нравилось далеко не всем. Многие женевцы стали опасаться, что с таким трудом обретенная свобода скоро будет подавлена тиранией проповедников. Оппозиция росла с каждым днем. В 1538 г. горожане избрали новый городской совет, не так лояльный к Кальвину и Фарелю, как прежний. Тем не менее те отказывались идти на какие-либо уступки и не пожелали, как того хотел совет, причащать прихожан на Пасху пресным хлебом (такой обычай был в Берне). Тогда возмущенные женевцы выгнали обоих из церкви, а совет предписал им в трехдневный срок покинуть город. Кальвин воспринял этот указ с полным спокойствием. «Если бы мы служили людям, — сказал он, — то были бы плохо вознаграждены, но мы служили Богу, и награда от нас не уйдет».
Из Швейцарии он отправился в Страсбург, где стал лектором при протестантской академии и проповедником во французской церкви Св. Николая. Очень скоро ему удалось сплотить всех французских протестантов, проживавших в этом городе, и провести в их общине те же преобразования, которые были начаты им в Женеве. Для восстановления нравственности Кальвин отлучил от церковного общения всех недостойных и допустил их обратно к причастию не раньше, чем они исправились.
Его лекции в академии привлекли массы слушателей из разных концов Франции. Их приезжали послушать даже англичане. В 1539 г., желая прочно осесть в Страсбурге, он принял местное гражданство, а в 1540 г. женился на небогатой вдове Иделетте Штордер. Брак этот, сложившийся скорее из рассудочных соображений, чем под влиянием чувств, оказался тем не менее очень счастливым.
Между тем положение дел в Женеве постепенно принимало благоприятный для Кальвина оборот. После отъезда сурового проповедника в городе вновь водворились моральная распущенность и беспорядок. Подняли голову тайные католики. К тому же партия, добившаяся победы в 1538 г., скомпрометировала себя позорными уступками Берну. Авторитет ее резко упал. В Женеве началось сильное брожение умов. Опасаясь беспорядков, городской совет в сентябре 1540 г. предложил Кальвину вернуться. Он отказался. В октябре к нему было отправлено официальное приглашение, составленное в самых почтительных выражениях: его просили вернуться к прежней деятельности, «так как народ этого очень желает».
Кальвин отвечал послам в довольно неопределенных выражениях, но при этом дал понять, что полномочия простого проповедника его не устраивают: если он и вернется в Женеву, то в единственной роли — восстановителя разрушенной церкви.
Горожане согласились на это условие. Но Кальвин все медлил с приездом, ссылаясь на разные дела. Он вернулся только в сентябре 1541 г.