Внешний вид интерактивного пола

Интерактивный пол «Стрекозы» для дома моды KRAVETS

Специально для дома моды «KRAVETS» и их новой коллекции «Стрекоза» (сезон осень - зима 2014/2015) разработан интерактивный пол «Стрекозы».

Взаимодействие с пользователем строится на работе инфракрасных камер. Для трэкинга движущихся объектов в сцене был написан модуль на языке C++. Он использует инфракрасную картинку с камер, несколько хитрых алгоритмов отслеживания движущихся объектов и специальный алгоритм разметки (венгерский алгоритм). Для синхронизации нескольких камер между собой и вычисления положения камер относительно отображаемой поверхности был написан специальный модуль калибровки. Он использует широко известные методы калибровки на основе распознавания шаблона в виде шахматной доски.

Что же касается графики, то для неё был выбран движок Unity, как очень гибкий и удобный в настройках редактор. Взаимодействие с пользователем происходит следующим образом. Как только система камер видит человека, к нему слетаются стрекозы и начинают кружить вокруг него, следуя за ним куда бы он не пошёл.

Модуль трэкинга и калибровки был интегрирован в Unity в качестве плагина, посредством преобразования неуправляемого кода на C++ в управляемый на C# (.Net marshalling). Данный модуль представляет ядро системы интерактивного пола, которое также используется в других аналогичных системах (интерактивные полы «Мелководные рыбки» и «Дельфины»).

  • C++
  • OpenCV
  • C#
  • Unity
  • Kinect
  • Interactive Floor
  • Object Tracking
  • Depth Camera Calibration