Окончив шестой класс семинарии в 1869 г., Павлов решительно отказался от духовной карьеры и стал готовиться к вступительным экзаменам в университет. В 1870 г. он уезжает в Петербург, мечтая поступить на естественное отделение физико-математического факультета. Но так как семинария не давала достаточных знаний по математике и физике, Иван был вынужден избрать юридический факультет. И все-таки он добился своего: спустя 17 дней после начала занятий по специальному разрешению ректора его перевели на физико-математический факультет. Правда, из-за этого он лишился стипендии. В этот первый год ему пришлось очень туго, а потом в университет поступил его брат Дмитрий, который с присущей ему хозяйственностью наладил их нехитрый студенческий быт. Спустя год естественное отделение пополнилось еще одним Павловым — Петром. Все братья стали учеными: Иван — физиологом, Дмитрий — химиком, а Петр — зоологом, но только для старшего серьезная научная работа, непрерывная и всепоглощающая, стала смыслом жизни.
Учился Иван весьма успешно, обращая на себя внимание профессоров. Невысокий, кряжистый, с густой каштановой бородой, отпущенной для солидности, он был на редкость серьезен, вдумчив, трудолюбив и страстно увлечен учебой. На втором году обучения ему назначили обычную стипендию (180 руб. в год), на третьем году он уже получал так называемую императорскую стипендию (300 руб. в год). На естественном отделении в это время сложился отличный преподавательский коллектив факультета, где среди профессоров факультета были выдающиеся химики Д. Менделеев и А. Бутлеров, знаменитые ботаники А. Бекетов и И. Бородин, известные физиологи Ф. В. Овсянников и И. Цион. Под влиянием последнего Павлов решил посвятить себя изучению физиологии животных, а также химии. Илья Фадеевич не только мастерски излагал самые сложные вопросы, поистине артистически ставил опыты, но и виртуозно владел хирургической техникой. Он мог прооперировать собаку, даже не сняв белоснежных перчаток и при этом не запятнав их и капелькой крови. Идя по стопам учителя, Павлов, будучи левшой, научился блистательно оперировать двумя руками. Очевидцы говорили, что, когда он становился к столу, «операция заканчивалась, не успев начаться».
Исследовательская деятельность Павлова началась рано. Будучи студентом четвертого курса, Иван под руководством Ф. Овсянникова исследовал нервы в легких лягушки. Затем совместно с однокурсником В. Великим под руководством Циона он выполнил первую научную работу о влиянии гортанных нервов на кровообращение. Результаты исследования были доложены на заседании Санкт-Петербургского общества естествоиспытателей, после чего Павлов стал регулярно посещать заседания, общаться на них с Сеченовым, Овсянниковым, Тархановым и другими физиологами, участвовать в обсуждении докладов. А его научную работу по физиологии нервов поджелудочной железы совет университета удостоил золотой медали. Правда, увлеченный исследованиями студент практически забыл, что на носу выпускные экзамены. Пришлось писать прошение, чтобы остаться «на второй год». В 1875 г. Павлов блестяще окончил университет, получил ученую степень кандидата естественных наук и продолжил обучение в Медико-хирургической академии, поступив сразу на третий курс, но «не с целью сделаться врачом, а с тем, чтобы впоследствии, имея степень доктора медицины, быть вправе занять кафедру физиологии». Ему шел тогда 26-й год.
С радужными надеждами выходил молодой ученый на дорогу самостоятельной жизни. И. Цион, занявший оставленную Сеченовым должность заведующего кафедрой физиологии в Медико-хирургической академии, пригласил его в качестве своего ассистента. Поначалу все складывалось для И. П. Павлова удачно. Но вскоре его учитель вынужден был уйти из академии, и Павлов счел нужным отказаться от должности ассистента, предложенной ему новым руководителем кафедры профессором И. Ф. Тархановым. Таким образом, он лишился не только прекрасного места для научной работы, но и заработка. Продолжая учебу, Иван стал ассистентом профессора К. Н. Устимовича на кафедре физиологии ветеринарного отделения.