В московской компании iPi Soft разработали уникальную систему захвата движений iPi Desktop Motion Capture, которая не требует оборудования, стоящего десятки, если не сотни тысяч долларов. Специальные костюмы Motion Capture с датчиками и метками тоже не нужны. Всё это заменяют алгоритмы машинного зрения, распознающие людей на видео, снятом обычными камерами.
Технология Motion Capture или, если по-русски, "захват движений" позволяет оцифровать движения актёра и использовать их для управления трёхмерной моделью персонажа. Захват движения активно используется и в компьютерных играх, и в анимации, и в кинематографе. "Удивительный случай с Бенджамином Баттоном", "Рождественская история" и "Аватар" - наиболее свежие примеры интенсивного использования Motion Capture.
Впрочем, у создателей iPi Desktop Motion Capture не было опыта работы в кино или игровой индустрии. "Изначально мы занимались разработкой программного обеспечения для бизнеса, - рассказывает основатель iPi Soft Михаил Никонов. - А эта идея возникла как-то спонтанно. Началось всё с того, что я раздумывал о разработке компьютерной игрушки - сугубо в качестве хобби. Меня поразило, насколько сложно сейчас делается захват движения".
Типичная система захвата движения "промышленного уровня" - это немаленький зал, внушительное количество специализированных камер (порой - десятки) и производительные серверы для обработки поступающих данных (формирование и обработка снятого "облака точек" в режиме реального времени требует более чем серьёзных мощностей). Стоимость полного комплекта оборудования - это пяти-, а то и шестизначные суммы в долларах.
В iPi Soft попытались разработать систему, которая позволяла бы осуществлять захват движения с помощью самых что ни на есть бытовых устройств - мощного ноутбука и нескольких обыкновенных цифровых видеокамер. Цена тоже куда доступнее: стоимость программного обеспечения iPi Soft составляет 500 долларов.
Распознавание образов
Системы захвата движения бывают разные, но почти каждую из них можно отнести к одному из двух типов: первый основан на обработке видео, а в другом используются специальные датчики. Те из них, которые не требуют датчиков, по объективным причинам вышли в лидеры.
Обрабатывать видео тоже можно по-разному. Некоторые системы требуют использования маркеров - особо выделенных областей на специальных костюмах для Motion Capture. Отыскать маркеры в отснятых кадрах относительно нетрудно - это не требует сложных алгоритмов. Существуют и безмаркерные системы - они, как можно догадаться по названию, не требуют маркеров и основаны на распознавании образов.
Считается, что безмаркерные системы прогрессивнее, и (по крайней мере с технической точки зрения) это чистая правда: технологии, лежащие в их основе, более сложные и наукоёмкие. Компьютер нужно научить отличать левую и правую стороны персонажа, а бликующие поверхности (например, блестящая ткань) способны сбить безмаркерные системы с толку. Фактически тут требуется полноценное машинное зрение, а данная область остаётся всё ещё недоразведанной территорией.
В системе iPi Soft маркеры не используются из принципа: это слишком долго и утомительно. Одна только подготовка и калибровка маркерной системы занимает полчаса-час, то есть студию захвата движения приходится резервировать на целый съёмочный день - а это стоит тысячи долларов. Вдобавок, как рассказал Михаил Никонов, в студиях Motion Capture, где применяются маркерные системы, часто во всех ролях снимаются одни и те же актёры, и требуется специальная одежда под маркеры, а наборов этой спецодежды всегда ограниченное количество.
iPi Desktop Motion Capture подготовить к работе можно куда быстрее. Правда, к одежде есть свои требования, но куда более простые. Оптимальный вариант - это чёрный свитер, синие джинсы и чёрные ботинки, при этом и верх и низ должны быть однотонными, без узоров и без блёсток.
Как работает iPi Desktop Motion Capture
Всё начинается со съёмки видео, причём, желательно, с разных точек. "Восстановить трёхмерную сцену с помощью нескольких камер несложно, - говорит Никонов. - Поскольку мы видим пиксели с разных точек, с помощью триангуляции мы можем восстановить трёхмерную картинку. Основная сложность - в той части технологии, которая отвечает за распознавание образов. Программе нужно понять, где человек и где какие части тела".
У iPi Soft есть и однокамерный вариант, но он работает куда хуже: все, кто пробовал эту систему, решили, что лучше всё-таки использовать многокамерную. "Поэтому теперь мы все силы бросили на неё, - говорит Никонов. - Единственное, что нам мешает выпустить однокамерный вариант, это то, что с обычными камерами система работает плохо, а подходящих трёхмерных камер пока нет на рынке".
Небольшая стереобаза нынешних стереокамер, по словам Никонова, не позволяет создать карту глубины нужной точности. "Они все настроены, в основном, на съёмку с расстояния метр-два, то есть чтобы в упор человека снимать. А нам нужно расстояние хотя бы четыре-пять метров от камеры до актёра".