В Facebook ведется разработка AR-контроллеров для дополненной реальности, которые будут считывать сигналы прямо с нервов в руках пользователя. Об этом команда Facebook Reality Labs (FRL) рассказала на онлайн-мероприятии Road to AR glasses.
Запястный нейромоторный интерфейс
В настоящее время наши взаимодействия с цифровыми мирами являются очень грубыми. Мы вынуждены использовать разнообразные контроллеры — мыши, клавиатуры, сенсорные дисплеи и так далее. У каждого такого интерфейса есть свои достоинства, и каждый из них в свое время стал важным прорывом. Но все они неидеальны. Как минимум, потому, что с их помощью невозможно нормально работать с объектами дополненной реальности.
Вы не хотите держать в руках контроллер, чтобы управлять смарт-очками. Использование камер для визуального отслеживания рук — тоже не вариант. Камеры не обеспечивают необходимой точности. Чтобы решить эту проблему, команда FRL разработала контроллер нового уровня, который должен обеспечить максимальную точность и удобство использования.
Устройство представляет собой браслет, который считывает нейронные импульсы, проходящие сквозь нервы запястья. Эти импульсы не должны быть очень сильными. Пользователю не нужно сжимать кулак — достаточно намерения это сделать, чтобы браслет считал команду.
Почему именно запястье? “Это не просто удобное место для размещения этих устройств. Это место, где сконцентрированы все ваши человеческие навыки, то, как вы выполняете делаете адаптивные задачи в мире. В вашем мозге больше нейронов, предназначенных для управления запястьем и рукой, чем любой другой частью тела”, — говорит Т. Р. Рирдон, директор FRL по нейромоторным интерфейсам.
Современные интерфейсы “человек-машина” имеют массу ненужных шагов, которые можно устранить. Каждое действие зарождается как намерение в двигательной коре мозга, электрическим импульсом проходит вниз через двигательные нейроны в руках, превращается в мышечное сокращение, которое двигает рукой или пальцем, нажимая на кнопку мыши или клавиатуры. Команда FRL предлагает перехватывать импульс еще на стадии прохождения через запястье. Таким образом, можно избавиться от лишних посредников.
“Мы считаем, что эту технологию ждет огромное будущее. Мы действительно можем считать эти сигналы на уровне одиночных нейронов, одиночных нулей и единиц. И это дает нам возможность осуществлять контроль, который раньше был невозможен”, — говорит Рирдон.
Нейромоторный интерфейс Facebook в настоящее время существует лишь в виде лабораторного прототипа. Но он уже может считывать нейронную активность настолько точно, что улавливает даже миллиметровое отклонение любого пальца.
Команда FRL уже использует нейромоторный интерфейс в качестве игрового контроллера, эдакого “шестимерного джойстика, встроенного в ваше тело”. Интерфейс работает с задержкой всего в 50 миллисекунд. Этого достаточно, чтобы играть в игры в виртуальной или дополненной реальности.
А вот как выглядит взаимодействие пользователя с виртуальной клавиатурой. Человек, использующий очки дополненной реальности, видит на столе клавиатуру. Он нажимает на виртуальные кнопки, в то время как нейромоторный браслет считывает его движения. Затем система сопоставляет эти движения с положением виртуальной клавиатуры. В результате происходит набор текста.
По словам команды FRL, потребуется еще несколько лет, чтобы превратить прототип в коммерчески доступное устройство. Важно, что технология доказала свою работоспособность. Теперь Facebook будет работать над тем, чтобы превратить ее в безупречный продукт для массового рынка.
