Цифровой журнал «Компьютерра» № 172

Один из ключевых новаторских аспектов в нашем подходе заключается в использовании разрежённого облака точек вместо многоракурсной стереосъёмки для реконструкции геометрии, что позволит значительно ускорить 3D-реконструкцию и рендеринг. Вдобавок мы представляем схему «виртуального рассаживания», при которой облака точек размещаются таким образом, чтобы сохранять то же расположение участников конференции относительно друг друга, какое имело бы место при встречах в реальности. Это достигается путём тонкой калибровки, вследствие которой строго поддерживается взаимное расположение взглядов участников.

Это облако точек, а также три цветовых видеопотока и три видеопотока, содержащих двоичные маски, полученные с помощью инфракрасных камер, передаются по сетям другим участникам виртуальной встречи — на их рабочие станции. На этапе приёма происходит разворачивание сжатых данных, при этом разрежённое облако точек интерполируется в плотное посредством алгоритма регрессии.

Двоичные маски используются для общего улучшения качества будущего изображения. Плотные облака точек затем преобразуются в треугольные меши. После этого запускается алгоритм размещения этих мешей в общем виртуальном пространстве. И три (или более) виртуальных двойника участников телеконференции внимательно смотрят друг на друга: положение глаз всех участников «виртуальной» конференции постоянно отслеживается, и виртуальное пространство, в котором происходит «встреча», рендерится для каждого из них с учётом перспективы, так что в точности воспроизводится и параллакс — изменение видимого положения «собеседников» относительно удалённого фона в зависимости от положения наблюдателя.

_{Схема расположения участников виртуальной телеконференции. Направление взгляда постоянно отслеживается}

Не обойдена вниманием и аудиосоставляющая: разработчики проекта предполагают использовать алгоритмы пространственного позиционирования звука, так, чтобы усиливать иллюзию присутствия: голос каждого участника конференции должен будет исходить в точности из его виртуального рта.

В итоге каждому из участников конференции потребуются две рабочие станции, одна из которых занимается формированием «отправного сигнала» (то есть облака точек), а вторая — рендерингом. Разработчики проекта Viewport использовали машины, оборудованные сразу двумя шестиядерными серверными процессорами Xeon Six-Core X5690 с тактовой частотой 3,46 ГГц, оснащённые 24 гигабайтами памяти и видеокартами NVidia Geforce GTX 580. Топ-модели, в общем.

Подробное техническое описание проекта приводится в объёмном, изобилующем формулами документе, доступном здесь. Слово «голограмма» в нём не употребляется ни разу.

Может сложиться впечатление, что исследователи из Microsoft Research, сами того не желая, всем запудрили мозги. Но никакого обмана тут не было и в помине: журналисты ухватились за термин «голограммы», однако, к сожалению, речь тут идёт исключительно о конференциях в виртуальном пространстве, а не о встречах, где люди и высокодетализированные голограммы смогут сидеть за одним столом и в случае надобности перешёптываться друг с другом.

В связи с этим возникает вопрос осмысленности всей затеи. Microsoft, впрочем, далеко не единственная компания, которая работает в этом направлении: аналогичные прототипы уже представлены Hewlett-Packard (система Halo) и Cisco (Telepresence). Главным преимуществом своего Viewport Microsoft считает возможность точного позиционирования моделей так, чтобы сохранять взаимное расположение глаз собеседников: если им нужно смотреть друг на друга, то они смотрят друг на друга, а не в камеру, например.

_{Демонстрация прототипа Viewport}

Интересен и другой аспект: Viewport предполагает, что в режиме реального времени формируются точные и высокодетализированные 3D-копии собеседников. На приведённом выше скриншоте, конечно, видно, что «виртуальные» собеседники представлены трёхмерной графикой, причём не идеального качества. Но Viewport — это всё ещё прототип. Интереснее всего будет посмотреть, что произойдёт через пару лет и насколько удастся сделать этих «виртуальных двойников» жизнеподобными.

Специалисты по компьютерной графике много лет бились над проблемой «зловещей долины»; в последние годы наметилось её преодоление, хотя бы и частичное.