Задачи, поставленные перед ГУГБ НКВД, объединившим все основные оперативно-чекистские подразделения бывшего ОГПУ, были многогранными: охрана партийно-государственного руководства; заграничная разведка; борьба с диверсиями, шпионажем; борьба с изменой Родине, контрреволюцией, террором, другими государственными преступлениями; охрана государственной тайны; выполнение специальных заданий правительства СССР по обеспечению революционного порядка и государственной безопасности.
На Оперативный отдел (Оперод, начальник – К. В. Паукер) возлагались охрана высших должностных лиц партии и правительства, проведение обысков, арестов, осуществление наружного наблюдения, использование оперативной техники, обеспечение контроля за работой правительственной связи и пр.
Борьбу с иностранным шпионажем, диверсиями, оперативно-чекистское обслуживание РККА и РКВМФ осуществлял Особый отдел (ОО – М. И. Гай). Экономическому отделу (ЭКО – Л. Г. Миронов) вменялось оперативно-чекистское обслуживание отраслей народного хозяйства, борьба с вредительством. Такие же задачи, только на транспорте, возлагались на Транспортный отдел (ТО – В. А. Кишкин, с марта 1935 г. – А. М. Шанин).
Секретно-политический отдел (СПО – Г. А. Молчанов) вел борьбу с «бывшими» политическими партиями, партийной оппозицией, «контрреволюционным» духовенством, националистическими движениями. Проводил он и оперативно-чекистское «обслуживание» интеллигенции, учебных заведений, государственных управленческих аппаратов и др.
Учетно-статистический отдел (УСО, с мая 1936 г. – Учетно-архивный, с ноября 1936 г. – Учетно-регистрационный отдел (УРО) – Я. М. Генкин) осуществлял хранение оперативных материалов, регистрацию и учет дел арестованных, вел справочную и статистическую работу, а также главную оперативную картотеку. Специфической деятельностью занимался Специальный отдел – шифрование и дешифрование, охрана государственной тайны, осуществление контроля за сохранением секретности переписки в НКВД, партийных и государственных органах и т. д.