В 1935–1937 гг. отличительные особенности в знаках различия имели сотрудники госбезопасности, проходившие службу в особых отделах (контрразведке). В телеграмме (сентябрь 1935) на имя Сталина (находился на отдыхе в Сочи) Г. Ягода писал, что армейские особисты носят форму и знаки различия, отличные от командного и начальствующего состава РККА, что затрудняет их деятельность в частях, казармах и складах, поскольку ведет к их расконспирированию и невозможности осуществления агентурной работы. В объявленном в мае 1936 г. «Положении об особых органах ГУГБ НКВД СССР» отмечалось: сотрудники особых отделов корпусов, флотов, особых отделений дивизий, бригад, укрепрайонов, флотилий, а также отдельные оперативные работники, прикрепленные к частям и учреждениям РККА, носят форму одежды и знаки различия военно-политического состава соответствующих родов войск согласно их персональным званиям органов госбезопасности: 2 ромба – старший майор ГБ, 1 ромб – майор ГБ, капитан, старший лейтенант и лейтенант ГБ – соответственно 3, 2 и 1 прямоугольник («шпалы»). Младший лейтенант и сержант госбезопасности ограничились тремя квадратами («кубарями»). На рукавах все сотрудники особых отделов обязывались носить красные пятиконечные звезды военно-политического состава РККА.
В последующем ситуация со званиями для армейских особистов практически не изменилась.
В 1943 г. существующая система званий в государственной безопасности была дополнена званиями подполковника, полковника и комиссара ГБ, одновременно ликвидировались звания сержанта и старшего майора. Вводилась также новая категорийность офицерских званий: высший состав – комиссар, комиссар 3, 2 и 1-го рангов; старший – майор, подполковник, полковник; средний – младший лейтенант, лейтенант, старший лейтенант и капитан, а также младший начальствующий состав – старшина, старший сержант, младший сержант специальной службы. Были введены новые знаки различия – погоны, число больших и малых звезд и звездочек на них соответствовало армейским званиям: комиссар ГБ – 1 звезда (генерал-майор); комиссары ГБ 3, 2 и 1-го рангов – соответственно 2, 3 и 4 звезды (генерал-лейтенант, генерал-полковник и генерал армии). Адекватные новшества постигли и младший начальствующий состав.
11 июня 1945 г. в соответствии с Указом ПВС СССР для сотрудников НКВД-НКГБ, имеющих специальные звания госбезопасности всех уровней, вводились звания, аналогичные званиям в Красной Армии.