Канадский стартап smartARM работает над прототипом бионического протеза, использующего компьютерное зрение для автоматического выбора подходящего способа захвата повседневных предметов. Компания утверждает, что такой подход призван уменьшить необходимость вручную переключаться между режимами хвата — это обычно требуется, например, при переходе от захвата чашки к использованию ложки.
Проект, представленный Meta 16 сентября 2026 года, объединяет аппаратное обеспечение для искусственного интеллекта и программное обеспечение с открытым исходным кодом. В протезе используется встроенная в ладонь камера для наблюдения за окружающей обстановкой, а smartARM применяет открытую модель компьютерного зрения DINOv2 от Meta для распознавания объектов на основе ограниченного числа эталонных изображений.
Как работает механизм выбора хвата?
Вместо того чтобы полагаться на заранее известные сведения о каждом объекте или на отдельное программирование для каждого предмета, система пытается анализировать визуальные характеристики объекта, а затем связывать их с подходящим режимом хвата. Согласно материалу, протез способен адаптироваться к объектам, на которых он обучался всего по нескольким изображениям; smartARM утверждает, что такой процесс может сократить срок, который в противном случае мог бы составлять несколько недель.
Цель заключается не только в увеличении числа режимов хвата, но и в том, чтобы сделать управление протезом более похожим на естественное взаимодействие. Пользователь не должен сосредотачиваться на выборе программного режима перед каждым движением — ему следует сосредоточиться на задаче, которую он хочет выполнить. В материале говорится, что прототип способен работать с первой попытки и без обучения; этот результат приписывается опыту проекта, а не независимым данным о широком клиническом применении.
Роль очков Meta AI
Очки Meta AI служат дополнительным компонентом к камере, установленной в протезе. С помощью Meta Wearables Device Access Toolkit очки предоставляют системе перспективу с точки зрения пользователя, что может добавить контекст о предмете, с которым он пытается взаимодействовать. Приложение для телефона также позволяет добавлять в систему новые объекты, благодаря чему пользователи могут настраивать список предметов в соответствии со своими повседневными потребностями.
Эта интеграция показывает, что smartARM рассматривает протез не только как самостоятельное устройство, но и как систему, объединяющую локальные датчики и данные, поступающие с носимого устройства. При этом в материале не указаны характеристики камеры или время отклика в числовом выражении, а также не представлены результаты клинических испытаний, сведения о регуляторном одобрении или сроки коммерческой доступности.
Почему эта разработка важна?
Значимость проекта заключается в решении вопросов повседневного использования протеза, а не в добавлении компонента искусственного интеллекта в отрыве от пользовательского опыта. Если механизм распознавания и выбора хвата успешно работает в различных условиях, он может снизить эксплуатационную нагрузку на некоторых пользователей и предоставить им более прямой способ взаимодействия с предметами. Однако доступный материал остаётся презентацией прототипа со стороны Meta и smartARM, поэтому сам по себе он недостаточен для оценки надёжности, безопасности или точности за пределами объектов и условий, в которых проводились испытания.
Hamayal Choudhry, основатель и генеральный директор smartARM, заявил, что создание функциональной кисти — лишь часть задачи, а простота её использования не менее важна. Shaquem Griffin, давний пользователь продукта и бывший игрок NFL, также назвал масштабируемость и доступность наиболее важными аспектами этой технологии для себя. Открытые вопросы по-прежнему связаны со степенью готовности модели к широкому применению и с тем, как она будет справляться со случаями ошибочного распознавания или с незнакомыми объектами.