Убийство посла было возложено на Якова Блюмкина. Он, используя свое служебное положение в ВЧК, изготовил фальшивое удостоверение о том, что ему поручаются переговоры с германским послом по делу, имеющему к нему непосредственное отношение. Подпись Ф. Э. Дзержинского на удостоверении также была подделана, а настоящую печать ВЧК на документ поставил заместитель Дзержинского — левый эсер Ксенофонтов. 6 июля 1918 года Блюмкин и его сообщники явились в германское посольство и, предъявив удостоверение, потребовали аудиенции у посла под предлогом необходимости обсудить вопрос, связанный с арестом его брата. Мирбах согласился. В самом начале беседы Блюмкин и находившийся с ним фотограф ВЧК Андреев открыли стрельбу. Германский посол был убит, а его сотрудники ранены. Воспользовавшись возникшей суматохой, террористы выскочили через окно во двор посольства и скрылись на автомобиле.
В Москве началось восстание эсеров. Был арестован и Ф. Э. Дзержинский, который вступил в переговоры с мятежниками. Через два дня эсеровский мятеж был подавлен. Блюмкин и Андреев бежали на Украину. 27 ноября 1918 года Верховный революционный трибунал рассмотрел дело левых эсеров. Блюмкин был заочно приговорен к тюремному заключению сроком на три года с применением принудительных работ. 16 мая 1919 года он явился в ВЧК с повинной и был амнистирован.
В 1920 году Блюмкин вступил в РКП(б) и был направлен на военную работу. Летом того же года он принимает участие в создании Гилянской советской республики (в Северном Иране) в качестве комиссара штаба Красной армии республики, вступает в Коммунистическую партию Ирана. Одновременно является заведующим отделом по работе в деревне ЦК КПИ, председателем агитационной комиссии, членом комиссии по созыву персидских представителей на съезд народов Востока (Баку, 1920 год).
В сентябре 1920 года Блюмкина направляют на учебу в Академию Генерального штаба РККА. С 1922 года он работает в секретариате Реввоенсовета Республики в качестве сотрудника для особых поручений при Льве Троцком.
С 1923 года он вновь работает в ГПУ, однако связей с Троцким не прерывает. Принимает активное участие в подготовке к изданию первого тома трехтомного труда Л. Д. Троцкого «Как вооружалась революция». В 1924–1925 годах занимает должность помощника (второго заместителя) полномочного представителя ОГПУ в Закавказье по командованию войсками Закавказской ЧК.
В 1926–1927 годах Блюмкин — главный инструктор внутренней охраны (службы безопасности) Монголии. Близость к Троцкому и быстрый карьерный рост вскружили ему голову, и он стал относиться к монгольским коллегам высокомерно и бестактно. В ноябре 1927 года по настоянию председателя ЦК Монгольской народно-революционной партии Дамбе-Дорчжи Блюмкин был отозван в Москву, где, несмотря на явную протекцию начальника ИНО ОГПУ Трилиссера, несколько месяцев оставался в резерве внешней разведки.
В 1928 году Трилиссер поручил Блюмкину ответственное задание — организовать нелегальную резидентуру на Ближнем Востоке. Он должен был обосноваться в Стамбуле, а затем создать нелегальную разведывательную сеть в Палестине и Сирии.
В сентябре 1928 года Блюмкин с паспортом на имя персидского купца Якуба Султанова выезжает из Одессы в Стамбул, где открывает магазин персидских ковров и успешно легализуется. Из Стамбула он совершает поездки в Иерусалим, Вену, Париж. В марте 1929 года, находясь в Берлине, Блюмкин узнает о высылке из СССР в Турцию его кумира Льва Троцкого. Он принимает решение немедленно возвратиться в Стамбул, где 12 апреля встречается с сыном Троцкого Львом Седовым. 16 апреля он встречается с самим «демоном революции» и в ходе продолжительной беседы заявляет, что «полностью передает себя в его распоряжение».
Блюмкин подробно инструктирует Троцкого относительно того, как организовать его личную охрану. Через Льва Седого он регулярно передает Троцкому секретные материалы и финансовые средства стамбульской нелегальной резидентуры ИНО ОГПУ. Одновременно дает согласие нелегально переправить в СССР для активных участников оппозиции письмо Троцкого и несколько его книг. Вскоре «легальная» резидентура внешней разведки подробно информирует Москву о регулярных контактах Блюмкина с Троцким.
В начале октября 1929 года Блюмкин был отозван из страны. В Москве он попытался объединить известных ему сторонников Троцкого. В частности, информировал видного троцкиста Карла Радека о своих встречах с Троцким в Стамбуле. Радек, находившийся в опале, немедленно сообщил об этой беседе Сталину. Одновременно Блюмкин рассказал своей близкой знакомой, сотруднице ИНО ОГПУ Елизавете Горской (в дальнейшем — видная советская разведчица-нелегал Елизавета Юльевна Зарубина), о своих контактах с троцкистами. Лиза посоветовала Блюмкину немедленно доложить о своих встречах руководству внешней разведки, однако он отказался. В свою очередь, Горская поставила в известность о разговоре с Блюмкиным помощника начальника Иностранного отдела Михаила Горба, который дал ей указание прекратить все контакты с разведчиком.