Хирург, проводящий операцию, поднимает руку, жестом показывая, что ему требуются ножницы, и робот-ассистент быстро ему их подает: таков замысел Хуана-Пабло Вакса, профессора промышленного проектирования Университета Пэрдью. Исследователи под его руководством разрабатывают систему распознавания жестов на основе камеры Microsoft Kinect. С помощью жестов хирург во время операции сможет не только требовать инструменты, но и отдавать команды компьютеру на отображение медицинских снимков пациента. При этом система сможет прогнозировать, какие именно снимки или инструменты могут понадобиться в следующий раз. Камеру Kinect было решено использовать, чтобы упростить задачу разработки, ведь в системе бесконтроллерного управления игровой консолью уже реализованы алгоритмы идентификации частей тела.

В числе требований, которым должен будет отвечать робот-ассистент — поддержка небольшого словаря простых легко узнаваемых жестов; отсутствие необходимости в перчатках виртуальной реальности и т. п.; быстродействие реального времени; возможность дать хирургу сигнал о том, что команда понята; и возможность отсеивания жестов, сделанных случайно или не относящихся к командам.