Компания Safeworld объявила о выходе из режима скрытности после привлечения в рамках посевного раунда более 12 миллионов долларов. Раунд возглавили Shine Capital и a16z Speedrun, при участии Box Group, Carnegie Mellon University Endowment, Innovation Endeavors и SV Angel. Компания разрабатывает инструменты для оценки безопасности роботизированных систем управления, использующих модели генеративного искусственного интеллекта.
Safeworld возглавляют Dr. Ding Zhao, директор лаборатории Safe AI в Carnegie Mellon University, а также Kyle Wong и Simo Rachidi. Компания исходит из фундаментальной проблемы переноса генеративных моделей в роботов: их поведение вероятностно и менее предсказуемо, чем у традиционных алгоритмов, что усложняет их тестирование до начала работы вблизи людей.
Моделирование ситуаций, которые трудно проверить на практике
Подход Safeworld заключается в создании реалистичных цифровых сред, а затем в запуске симулированной версии робота с использованием его настоящего управляющего программного обеспечения. После этого проводятся тысячи сценариев, в которых виртуальные люди взаимодействуют с роботом, включая случаи спотыкания и падения или появления человека с коробками рядом со слепым углом на фабрике.
Эти среды можно создавать с использованием таких симуляционных моделей, как Genesis или MuJoCo. Цель состоит в измерении практических параметров, например подходящей скорости, тормозного пути и способности системы обнаружить человека в необычном положении, вместо того чтобы ограничиваться демонстрацией работающего робота в идеальных экспериментальных условиях.
Что меняется на практике?
Роботы отличаются от автономных транспортных средств тем, что работают в неструктурированных средах, а стандарты безопасности могут различаться от одного объекта к другому. Кроме того, находящиеся рядом люди не ведут себя одинаково: они могут стоять, стоять на коленях, бежать или падать, а их одежда, размеры, формы и цвет кожи могут различаться.
По этой причине основатели Safeworld считают, что тестирование робота в крайних случаях нельзя свести к простому математическому доказательству. Vishal Dugar, технический директор Gritt Robotics, говорит, что проверка безопасности систем должна проводиться экспериментально, особенно когда роботизированные манипуляторы работают рядом с сотрудниками на объектах по монтажу солнечных панелей. Gritt Robotics заключила партнёрство с Safeworld для разработки симуляций безопасности.
Почему это развитие важно?
Проблема, на которую нацелена компания, находится на пересечении двух аспектов: оценки вероятностных рисков системы искусственного интеллекта и формирования достаточного доверия, позволяющего внедрять роботов. Инвесторы и основатели считают, что создание практик безопасности до распространения роботов в домах и на фабриках может помочь избежать обнаружения дефектов уже после реальных происшествий.
Safeworld также рассчитывает, что робототехническим компаниям может потребоваться внешняя организация для проверки испытаний безопасности и, возможно, обмена информацией об опасных ситуациях между конкурирующими компаниями. Однако компания ещё не решила, будет ли предлагать свою платформу как внешнюю программную услугу или выберет модель, основанную на оказании услуг, и всё ещё находится на раннем этапе разработки продукта.
При этом симуляция остаётся инструментом тестирования, а не абсолютной гарантией безопасности. Эффективность результатов будет зависеть от того, насколько реалистичны используемые модели людей, среды и сценарии, а также от способности тестов воспроизводить реальные условия эксплуатации при широком внедрении роботов.