По рекомендации знакомой, в начале июня 1934 г. он встретился в парке с важным человеком, который, по ее уверениям, мог его заинтересовать. После немногословного введения незнакомец предложил Филби стать советским агентом глубокого проникновения. Как потом выяснилось, вербовщиком был А. Дейч. С этого момента Ким порвал связи с компартией. Перед ним поставили задачу: попасть в британскую разведку Интеллидженс сервис (СИС) и разузнать как можно больше о ее планах и деятельности, касающихся СССР. По совету новоиспеченного агента, он привлек к работе своих друзей Г. Берджеса и Д. Маклейн. Сам Ким через некоторое время становится редактором журнала Ассоциации британских финансистов, симпатизировавшего нацистам. Это помогло ему сблизиться с немецким послом в Великобритании И. фон Риббентропом, который в недалеком будущем возглавит МИД Германии.
Филби продолжал встречаться с Риббентропом в Германии и сотрудниками немецкого посольства в Великобритании. Появились связи с германским министерством пропаганды Й. Геббельса.
Периодически Ким передавал советской разведке полезные политические новости.
Работа с министерством пропаганды длилась недолго, поскольку там отказались от услуг журнала, который представлял Филби. Его это не особенно расстроило — подоспело новое задание, связанное с Испанией.
Для советской разведки деятельность К. Филби была очень полезной. Ему же все это давалось психологически тяжело, поскольку он вынужден был проводить основную часть своего времени с теми людьми, которых ненавидел и, собственно, из-за чего стал советским агентом.
Предполагалось, что Филби в воюющей Испании займется не столько сбором данных о положении дел у мятежников генерала Ф. Франко, сколько расширит свои разведывательные возможности, чтобы впоследствии внедриться в британскую разведку. Ким работал в качестве военного корреспондента при генерале и обеспечивал Москву важной информацией о планах повстанцев, передвижении и вооружении их армии, об общей ситуации в стране. Его статьи о ходе испанского восстания попадают в поле зрения британской разведки, в результате чего Филби становится и ее доверенным лицом.
Война закончилась, и в Испании установился мир. В начале августа 1939 г. Филби вернулся в Лондон. С 1940 г. он официально работает на СИС, сначала в школе по подготовке кадров. В 1941 г. он уже поднимается до заместителя начальника отдела В, занимавшегося контрразведкой во время всех операций стран антигитлеровской коалиции. Филби обладал обаянием, которое помогало ему выходить из многих трудных ситуаций, трудолюбием, исполнительностью, способностью к глубокому анализу и выработке нестандартных решений, целеустремленностью. Все это не могло не вылиться в успешную карьеру разведчика. Он старался со всеми вести себя уважительно, не ссориться, поэтому коллеги признавали, что у него единственного нет врагов в аппарате спецслужбы.
Когда Филби стал полноправным сотрудником СИС, то информационный поток от него резко увеличился. В Москву стала регулярно приходить документальная информация касательно разнообразных вопросов функционирования британской разведки, ее структуры и кадрового состава, резидентур и отдельных агентов, особенно 5-го контрразведывательного отдела.
Филби с энтузиазмом подключился к борьбе с нацистской резидентурой на Пиренейском полуострове, получив доступ к ценной информации, включая дешифрованные телеграммы абвера. Благодаря Филби Центр впервые узнал о связях британской разведки с адмиралом В.-Ф. Канарисом.
Информация добывалась также через личные контакты с сотрудниками МИ-5, МИДа Великобритании, американских спецслужб. Например, в конце ноября 1941 г. Филби прочитал дешифрованное сообщение немецкого посла в Токио, который уведомлял Риббентропа о скором нападении Японии на Сингапур. Ким внимательно наблюдал за развитием ситуации вокруг открытия Второго фронта. В середине августа 1943 г. он согласился на предложение работать после войны в контрразведывательном отделе СИС.
В ходе Второй мировой войны Филби сообщает в Центр важные сведения о том, как союзники воспринимают СССР, о вооруженных силах Германии и засылаемых на территорию Советского Союза диверсантах, о попытках немцев вести сепаратные переговоры с Францией и Англией. В 1943 г. разведчик из разговора с американским офицером узнал о том, что американцы и англичане вместе создают урановую бомбу.
Филби продвигался по службе. Он писал: «Я рассматривал все занимаемые мною посты в СИС исключительно как прикрытие своей основной деятельности, а мое стремление к компетентному выполнению своих служебных обязанностей диктовалось стремлением занять те должности, на которых я мог принести максимальную пользу Советскому Союзу». То, чему он научился у советских разведчиков, очень помогло ему и позволило считаться лучшим сотрудником британской спецслужбы. В 1944 г. Ким становится главой 9-го отдела СИС, занимавшегося отслеживанием «советской и коммунистической деятельности» в Англии. В это время предоставляемая им советской разведке информация была бесценна.