Dział badawczy Microsoft Research opracowuje projekt mający na celu przystosowanie technologii Kinect do bezdotykowej obsługi Windows. Na obecnym etapie stworzony prototyp rozpoznaje 16 różnych gestów i jest w stanie kontrolować najnowsze wersje tego systemu.

Microsoft stale poszukuje nowych rozwiązań umożliwiających lepszą i bardziej naturalną interakcję człowieka z komputerem. Od czasu opracowania technologii rozpoznawania wykonywanych przez użytkownika gestów, która póki co w formie czujnika Kinect znalazła swoje zastosowanie głównie w konsolach do gier, korporacja nieustannie inwestuje w ten produkt z myślą o jego szerszym wykorzystaniu. Jeden z opracowywanych przez firmę projektów dotyczy wykorzystania tej technologii do rozpoznawania gestów dłoni użytkownika i zamiany ich na odpowiednie polecenia systemu Windows, co umożliwiłoby sprawną obsługę tego systemu bez konieczności fizycznej interakcji ze sprzętem.

Kilka dni temu Microsoft zaprezentował prototypową implementację wspomnianego projektu, umożliwiającą sterowanie systemem Windows 8 przy pomocy gestów, wykonywanych dłonią bezpośrednio nad klawiaturą pobliskiego komputera. Zademonstrowana technologia jest w stanie rozpoznać 16 różnych gestów, które następnie są tłumaczone na odpowiednie polecenia systemowe. Jako że wywoływane są wyłącznie polecenia wbudowane w system, rozwiązanie to może być zastosowane na dowolnym komputerze wyposażonym w Windows 7 lub 8.

Jak takie gesty miałyby wyglądać? Na chwilę obecną maksymalizacja okna realizowana jest poprzez zaciśnięcie dłoni pod pozorem uchwycenia okna, a następnie otwieranie jej w czasie wysuwania ręki w przód (tj. w kierunku górnej części klawiatury). Minimalizacja okna to po prostu odwrócenie kolejności tych czynności, zaś wprowadzone w Windows 7 przypinanie okien do wybranej części ekranu to wykonywanie dokładnie tych samych gestów z przesunięciem ręki na prawą lub na lewą stronę klawiatury. Wyświetlenie pulpitu sprowadza się do ustawienia obu otwartych dłoni na środku klawiatury i rozsunięcia ich na jej przeciwległe boki. Powtórzenie tego gestu ponownie wyświetli poprzedni stan okien. Nieco bardziej wyszukanym gestem jest zaciśnięcie kciuka i palca wskazującego, tworząc coś na wzór lupy - jak nietrudno się domyślić wykonanie takiego gestu przeniesie nas bezpośrednio do mechanizmu wyszukiwania Windows 8.

Choć oprogramowanie, które umożliwia działanie tego prototypu tworzone było przez przeszło 18 miesięcy, to zdaniem firmy nie wymaga ono zbyt wielu zasobów systemowych i z powodzeniem mogłoby być uruchomione na wydanych w ostatnich latach komputerach PC. Jeśli zaś chodzi o rozmieszczenie czujnika Kinect, to firma przekonuje, że udało jej się stworzyć podobny prototyp, w którym jest on nachylony do klawiatury pod kątem 45 stopni, co umożliwia umieszczenie go bezpośrednio na monitorze.

Większość czasu przy opracowywaniu tej technologii zespół Microsoft Research spędził na tworzeniu i wdrażaniu systemów uczących się. Trafne rozpoznanie nawet najprostszych gestów bez tego rodzaju oprogramowania byłoby zupełnie niemożliwe z uwagi na wykonywane przez użytkowników dodatkowe, często niepożądane ruchy rękami. Na bieżącym etapie, jeśli ręce trzymane są wystarczająco nieruchomo, wówczas gesty rozpoznawane są prawidłowo w 7-9 przypadkach na 10, co dla systemów uczących się jest dość dobrym wynikiem.

Na pewno część z Was nurtuje pytanie, dlaczego Microsoft pracuje nad technologią rozpoznawania gestów wykonywanych bezpośrednio nad klawiaturą, a nie stara się stworzyć czegoś na wzór interaktywnych ekranów znanych z filmu Raport mniejszości? Otóż może wygląda to efektownie, ale zespół podkreśla, że dłuższa praca przy komputerze z podniesionymi rękami z pewnością nie należy do najprzyjemniejszych.

Choć projekt ten znajduje się już w dość zaawansowanej fazie, to nie należy się go szybko spodziewać na rynku w żadnym z produktów korporacji. Firma traktuje go na razie jako projekt czysto naukowy, który pozwoli jej lepiej zrozumieć bezdotykową interakcję użytkownika z komputerem i umożliwi tworzenie lepszych interfejsów w przyszłości.