Na co stać Kinecta?

Kinect – marzenie domowego konstruktora

Kinect narobił sporo szumu na rynku i ciężko się temu dziwić. Jest to pod wieloma względami innowacyjna i przełomowa technologia, która umożliwia całkowite wyeliminowanie kontrolerów z gier. Hasło promocyjne Microsoftu, które brzmi, „Ty jesteś kontrolerem” oddaje tę koncepcję doskonale. I trudno się dziwić, że nowa zabawka giganta z Redmond wzbudziła od razu spore zainteresowanie w branży. I nie chodzi tu wcale o graczy, którzy siłą rzeczy w ten, czy inny sposób odnosili się do nowych gier i funkcjonalności urządzenia. W tym tekście zamierzam się raczej skupić na konstruktorach i programistach, których Kinect zainteresował jako potencjalne narzędzie, z którym da się zrobić coś więcej niż to, co zaproponował Microsoft. A jak pokazują przykłady - zrobić można niemal wszystko!

Słowem wyjaśnienia, dodam też, że wiele spośród wymienionych poniżej projektów pracuje w oparciu o oprogramowanie OpenCV (Open Source Computer Vision), jego modyfikacje lub podobnego typu soft. W skrócie: to zaawansowane oprogramowanie, które wspiera ponad 500 różnych algorytmów. Bez wdawania się w technologiczną nomenklaturę trzeba wspomnieć o m.in.: rozpoznawaniu twarzy, postaci i gestykulacji, transformacjach i kalibracji obrazu, oraz efektach 3D. Mając do dyspozycji tak bogatą bibliotekę już tylko od pomysłowości i umiejętności twórców zależy, jak ją wykorzystają. Zobaczmy zatem.

Rozpoczynamy z przytupem i od wysokiego „C”. Powyższy filmik pokazuje, w jaki sposób zmusić Kinecta do... latania. Projekt o nieco przydługiej nazwie Quadrotor Autonomous Flight and Obstacle Avoidance with Kinect Sensor powstał na Uniwersytecie Berkeley pod okiem profesor Claire Tomlin z Center for New Media, a stworzony został przez Patricka Bouffarda studenta kierunku Electrical Engineering and Computer Sciences. Ja widać, Kinecta zamontowano na niewielkim urządzeniu, które przypomina nieco helikopter. Dzięki sensorom i kamerom wbudowanym w zabawkę Microsoftu wehikuł potrafi przemieszczać się po zaplanowanej trasie i omija przeszkody. No dobrze, może nie tyle omija je, co zatrzymuje się (zwalnia), napotykając na drodze jakiś przedmiot. Zastosowanie ma na razie charakter czysto laboratoryjny, ale bez trudu dałoby się wymyślić zastosowania praktyczne choćby w dziedzinach robotyki, czy lotnictwa. Jednocześnie projekt Bouffarda pokazuje, jak potężną technologią dysponuje niepozorna skrzyneczka, którą część z nas stawia nieopodal telewizora.

Ciekawym pomysłem wydaje się również zaprzęgnięcie Kinecta do wspierania animacji komputerowej lub np. technik motion-capture. Ta ostatnia, jak wiadomo, stosowana jest dziś powszechnie przy produkcji filmów i gier komputerowych. W wielkim uproszczeniu chodzi o to, że aktora, który porusza się po wyznaczonym obszarze studyjnym, śledzi skomplikowana i warta miliony dolarów aparatura, która złożona jest z wielu kamer i komputerów. Kamery, dzięki wskaźnikom na ciele aktora, rejestrują dokładny ruch poszczególnych części jego ciała. Specjalne i zaawansowane oprogramowanie pozwala operatorom „przerabiać” potem te ruchy na ruchy fikcyjnych postaci z filmów lub gier. Wygląda na to, że Kinect potrafi dokładnie to, co wspomniana, nieziemsko droga, aparatura. Zerknijcie na poniższy materiał.

Zaprezentowano tu współpracę Kinecta z programem Maya. Jest to – znowu w wielkim uproszczeniu – platforma wykorzystywana przez filmowców, ale także projektantów gier komputerowych na całym świecie. Maya pozwala na modelowanie i animacje w środowisku 3D, a także tworzenie efektów specjalnych, czy edycję trójwymiarowych scen. Kamerki wbudowane w Kinecta współpracują z programem całkiem nieźle, choć nie może być jeszcze mowy o takiej precyzji, jak w przypadku studyjnego „mo-capu”. Czy jednak powyższy materiał nie udowadnia, że zbudowanie prostego studia filmowego w domu stało się już możliwe za przysłowiowe grosze? Oczywiście Maya jest tylko przykładową platformą, zastosowaną akurat w tym przypadku. Na marginesie dodajmy, że równie dobre efekty osiągnięto już, zaprzęgając Kinecta do współpracy z 3D Studio Max.

Przejdźmy teraz na pole bliższe sercu każdego gracza, a więc do gier. Startowe tytuły wydane na Kinecta zyskały umiarkowaną sympatię graczy. A co by było, gdyby udało się zagrać w znane hity? Otóż okazuje się, że można, co za chwilę zobaczycie. Na początek najsłynniejszy hydraulik pod słońcem, a więc Mario. Popatrzcie w jaki sposób ludzie zmusili wąsacza do tego, by zechciał współpracować z Kinectem.

Oglądając powyższy materiał nasuwają się co najmniej dwa wnioski. Po pierwsze i najważniejsze – to rzeczywiście działa! Po drugie, przeróbka nie eliminuje wad samego Kinecta. Wyraźnie widać opóźnienie w przenoszeniu ruchów gracza na ekran. W tym przypadku jest to niezmiernie istotne, bowiem gra wymaga sporej precyzji. Wydaje się, że dopóki ta wada nie zostanie wyeliminowana w samych sterownikach do Kinecta (jeśli w ogóle się to uda!), dopóty nic w tej kwestii poprawić się nie da. Jednak przyznacie chyba, że materiał robi wrażenie. No bo co może być lepszego, niż skakanie pod własną lampą w pokoju. To przecież „wczówka” totalna, czyż nie?

Bardzo ciekawym projektem jest również ten opracowany przez Olivera Kreylosa. Stworzył on przy pomocy dwóch Kinectów podłączonych do jednego X360 system, który pozwala na skanowanie obiektów w pełnym 3D. Jak zobaczycie w materiale filmowym, urządzenie nie działa jeszcze doskonale i na obrazie zauważyć można liczne artefakty. Tym niemniej pierwszy krok został już wykonany. Teraz wypada tylko popracować nad poprawieniem sterowników.

System działa w ten sposób, że dwa Kinecty ustawione zostały mniej więcej pod kątem 90 stopni i skierowane w ten sam punkt. Stamtąd przesyłają one obraz wideo. Tak wygenerowany obraz może oczywiście posłużyć do dalszej obróbki, co daje niemal nieograniczone możliwości. Pierwszy z brzegu przykład to wykorzystanie tej funkcji w tzw. interaktywnym zwiedzaniu np. muzeów, czy innych atrakcji turystycznych. Bardzo podobny projekt opracowały wspólnie grupy studentów CSAIL’s LIS i Robot Locomotion Group z uniwersytetu MIT. System również opiera się na dwóch Kinectach, ale potrafi trochę więcej. W zasadzie jego działanie można porównać do słynnych scen z filmu Raport mniejszości, w których Tom Cruise przeszukuje bazę danych. Programiści opracowali sterowniki, które umożliwiają rozróżnienie dłoni operatora pośród 60.000 innych dostępnych punktów, jakie znajdą się w zasięgu kamer. Całość procesu przebiega w płynnych 30 klatkach na sekundę. Efekt? Oceńcie sami.

Jak widać, prezentacja wygląda ciekawie i bardzo futurystycznie. Oczywiście nie da się ukryć, że widać pewne problemy z detekcją dłoni, które znajdują się nad obrazkami. Imponuje jednak możliwość rozciągania fotek i ich rotacji. Efekt podobny do tego, który można uzyskać na wielu telefonach, tu jednak zrealizowany... bez dotykania ekranu.

Wszystko, co widzieliśmy dotychczas, blednie jednak przy osiągnięciu japońskich konstruktorów. Przerobili oni Kinecta na okulary VR. Jak wiadomo tzw. Virtual Reality (Rzeczywistość Wirtualna) jest marzeniem wielu graczy już od lat. Jednak jej dotychczasowe implementacje nie były zadowalające. Niewykluczone, że po dopracowaniu projektu, którego prezentację możecie zobaczyć poniżej, sytuacja ta diametralnie się zmieni.

Kinect przerobiony na okulary w kilka tygodni po premierze urządzenia? Powiedzcie z ręką na sercu, że marzyliście o czymś takim. Najważniejszą funkcjonalnością urządzenia jest oczywiście to, że rozglądając się w okularach, możemy rozglądać się po wirtualnym świecie. A stąd już tylko krok dzieli nas od momentu, w którym zechcemy w takiej fikcyjnej rzeczywistości... zamieszkać. Brrrrr, czy to jednak nie brzmi zbyt przerażająco? ;)

Wracamy do gier. Co by było, gdyby zaprząc Kinecta do czegoś bardzo popularnego i klasycznego? Do gry tak kultowej, że bardziej chyba nie można. Pomyślmy: Kinect plus Tetris. Hm... Niejaki Rozengain tak właśnie zrobił i wyszło mu KinecTris. To aplikacja, która śledzi ruchy twarzy i gesty wykonywane przez użytkownika po to, by w wirtualnej przestrzeni mógł on przesuwać klocki. Zobaczmy, jak to wygląda w praktyce.

Jak zastrzega sam autor, gra nie jest w pełni funkcjonalna, gdyż to zaledwie demonstracja technologii. Jednak już na tym etapie Kinect rozpoznaje gesty, dzięki którym można przesuwać figury w płaszczyźnie oraz rotować je. O tego już tylko krok do pełnej implementacji i gry, która może przez taki interfejs nabrać zupełnie innego wymiaru. Na tym jednak wcale nie koniec. Nurt gier muzycznych, który już jakiś czas temu dostał zadyszki, ma szansę na reaktywację dzięki Kinectowi. Tu trzeba koniecznie zauważyć, że jeśli wyniknęłoby z tego coś konkretnego (kto wie, może jakaś firma jednak podłapie pomysł?), zyskaliby na tym przede wszystkim gracze. Po prostu z naszych kieszeni przestałaby wypływać gotówka. Na co? Ano na plastikowe instrumenty, które jak się okazuje wcale nie są potrzebne do zabawy w Guitar Hero i podobne produkcje. Zobaczcie i posłuchajcie.

Z pewnością nie jest to na razie koncertowe wykonanie jakiegoś skomplikowanego utworu, ale warto zwrócić uwagę na zmianę brzmienia w zależności od miejsca, w którym "chwyci się" wirtualny gryf. Oczywiście od takiego projektu do możliwości gry na sześciu strunach jeszcze daleko, ale gdy połączyć ten patent z tym, który widzieliśmy na prezentacji w stylu Raportu mniejszości, może być jeszcze ciekawiej. Oczywiście uwagę zwraca również możliwość wyposażenia się w dowolną wirtualną gitarę, ale takie patenty znamy już od lat za sprawą EyeToya.

Interesujący jest również projekt, który umieścił w sieci niejaki TakayukiFukatsu. Czy chcieliście kiedyś sprawdzić jak to jest być niczym Predator? Zdolność do bycia niewidzialnym to zapewne marzenie wielu z nas, nie wspominając już o tym, że to cel naukowy nurtujący wiele najznakomitszych umysłów w historii. No i proszę, tu też Kinect przychodzi z pomocą.

Na tym filmiku można zaobserwować dwie ciekawe i na pierwszy rzut oka niemożliwe do przeprowadzenia rzeczy, które wykraczają poza naszą percepcję. Po pierwsze autor filmiku jest przezroczysty, więc dokładnie widać znajdujące się za nim przedmioty. Po drugie obraz za testującym jest w ciekawy sposób zdeformowany. Nie jest to jednak trik iluzjonistyczny, a efekt umiejętnego rozstawienia kamer i oprogramowania Kinecta.

Byłoby dziwne, gdyby oferujące tak ogromne mozliwości wszelkim eksperymentatorom Kinect nie został zestawiony z najsłynniejszą gwiezdną sagą. I oczywiście został. Gwiezdne Wojny z kolei dysponują pewnym symbolem, który rozpoznawalny jest pod wszelkimi szerokościami geograficznymi świata. Mowa o mieczu świetlnym, który, no cóż, możecie teraz wyczarować we własnym pokoju. Kto chce zmienić się w Luke’a Skywalkera?

Na tym przegląd najciekawszych modyfikacji Kinecta kończymy. Jak widać, możliwości urządzenia wydają się być nieomal nieograniczone. Łatwość z jaką programiści wykorzystują potencjał Kinecta zaskakuje. Urządzenie, przeznaczone do grania w proste, casualowe gierki okazało się nagle bardzo wszechstronne. Kto wie, co jeszcze zobaczymy. Jeśli zainteresowanie z Waszej strony tym tematem będzie duże, z pewnością do niego powrócimy. A może Wy podrzucicie nam jakieś ciekawe linki?