Kinect Fusion demonstreaza aplicatii in chirurgie prin AR

Un concept pe care l-am mai tratat si in trecut, Kinect Fusion este o functie incredibila a unui senzor Kinect cu aplicatii in foarte multe domenii.

Prezentata pentru prima oara la mijlocul anului trecut, Kinect Fusion este o componenta software care permite utilizarea senzorului Kinect pentru a genera in 3D un intreg mediu ambiant. Pentru a duce ideea de elemente 3D din fata unui senzor Kinect obisnuit la un alt nivel, in ecuatie au fost introduse si concepte de realitate augmentativa (AR).

Plecand de la abilitatile senzorului de a interpreta in trei dimensiuni mediul din fata camerei, intr-o aplicatie software a fost incarcat modelul 3D al unui craniu cu un creier modelat in detaliu. Pentru ca respectivul cap virtual avea niste specificatii care se potriveau unui model de fizic aflat pe masa, in momentul in care camera cu modelul incarcat a ajuns in dreptul modelului s-au creat o asociere si o fixare intre cele doua. Aici intra in functiune scenariul gandit de dezvoltatorii de la Microsoft Research.

Intregul sistem a fost demonstrat cu un senzor Kinect lipit cu scotch de o tableta. Trecand peste aplicatiile foarte variate de AR care pot pleca de la exemplul de mai sus, cel mai potritiv scenariu este intr-o sala de operatii. Prin faptul ca un model 3D al unui cap sau al oricarui organ intern poate fi asociat unei parti fizice a unui pacient, medicul poate vedea in timp real, in trei dimensiuni, cu ce are de-a face in interiorul pacientului ca printr-o fereastra.

Kinect Fusion, cea mai importanta componenta din intreaga ecuatie, va fi inclusa in urmatoarea versiune de Kinect for Windows SDK.