Руководства

Как понять использование больших языковых моделей в программном обеспечении и рабочих процессах

Концептуальное руководство, основанное на доступных доказательствах, объясняет, как большие языковые модели используются для извлечения данных, анализа документов, поддержки кибербезопасности и проектирования микросхем, а также описывает ограничения надёжности и необходимость человеческой проверки.

Большие языковые модели используются в различных областях, однако доступные доказательства не позволяют рассматривать их как самостоятельную замену экспертам. Приведённые примеры показывают, что их практическое применение обычно связано с ускорением анализа, извлечением информации и поддержкой тестирования, при этом проверка человеком остаётся необходимой.

1. Определите задачу, которую будет выполнять модель

Начните с определения того, направлено ли использование модели на извлечение данных из документов, проверку материалов, поддержку тестирования или ускорение поиска ошибок. Homeward использует большие языковые модели для извлечения данных из документов и помощи андеррайтинговым командам при анализе видео, изображений и отчётов об инспекциях, включая сведения о поверхностях, системах отопления и охлаждения и общем состоянии недвижимости.

В проектировании микросхем Moores Lab AI сосредотачивается на проверке дизайна, исправлении ошибок и покрытии тестами, а не представляет модель как полностью самостоятельную замену инженерам по микросхемам.

2. Подготовьте входные данные и определите границы задачи

До включения модели в рабочий процесс следует определить тип материалов, которые она будет анализировать, и требуемый результат. Доступные данные указывают, что передача спецификации большой языковой модели или ИИ-агенту может привести к потере от 20% до 30% её подробностей, поэтому одной формулировки запроса недостаточно, чтобы гарантировать сохранение всех требований.

3. Используйте результаты для ускорения работы, а не для отмены проверки

Предварительные результаты можно использовать для сокращения ручной работы или более быстрого перехода к полезному циклу тестирования. Moores Lab AI утверждает, что пользователи её платформы обнаруживают первую ошибку в течение 48 часов вместо периода, который обычно может занимать от трёх до четырёх месяцев, однако материал не содержит независимой проверки этих результатов.

В бухгалтерском учёте MAVI описывает специалиста, эффективно работающего с ИИ, как человека, который сочетает бухгалтерские знания, управление инструментами, проверку их ошибок и интеграцию больших языковых моделей в рабочий процесс.

4. Привлеките эксперта для проверки результатов

Проверка человеком важна, поскольку модели могут упускать детали спецификаций или создавать результаты, похожие на опубликованный код. Кроме того, упомянутое судебное решение сохранило возможность исков о нарушении авторских прав, когда модель незаконным образом воспроизводит защищённый код, и не разрешило все споры, связанные с обучением или результатами моделей.

В проектировании микросхем одна ошибка может привести к дорогостоящей проблеме, поскольку исправление микросхемы после изготовления может потребовать полной реконструкции набора микросхем. Поэтому специализированная проверка и всестороннее тестирование остаются частью процесса.

5. Протестируйте систему на реальных случаях до масштабирования

Материал Moores Lab AI показывает, что компания предлагает выполнить один проект для клиента и сравнить результаты с тем, что инженеры клиента сделали в этом же проекте, прежде чем переходить к другим задачам. Такая практика задаёт концептуальную основу для оценки, но сама по себе не доказывает общую или независимую эффективность системы.

В сфере кибербезопасности Microsoft отмечает, что ИИ ускоряет обнаружение уязвимостей, разработку вредоносного программного обеспечения и некоторые действия после проникновения в систему, при этом большинство наблюдаемых кампаний по-прежнему опирается на людей при выборе целей, принятии решений и работе со сложными этапами.

6. Отслеживайте юридические риски и риски безопасности

  • Авторские права: модели могут создавать код, похожий на оригинальный код, а одного отсутствия сведений об авторских правах в новом результате недостаточно, чтобы установить наличие нарушения.
  • Точность: доступные материалы не содержат независимых измерений для всех описанных вариантов использования, поэтому заявленные результаты следует считать связанными с организацией, которая их сообщила, если нет дополнительных доказательств.
  • Безопасность: злоумышленники могут использовать модели ИИ для ускорения поиска уязвимостей, извлечения данных и секретов и бокового перемещения, поэтому, согласно оценке Microsoft, одной лишь медленной ручной установки исправлений недостаточно.
  • Зависимость от людей: доказательства не поддерживают представление о полной самостоятельности моделей; профессиональная экспертиза и человеческие решения по-прежнему присутствуют в описанных случаях.

7. Масштабируйте использование постепенно

После определения задачи, проверки результатов и тестирования на сопоставимом случае можно рассмотреть расширение использования на другие задачи. Доступные доказательства не содержат единой операционной методики или достаточных показателей, позволяющих определить, когда масштабирование подходит каждой организации, поэтому это решение по-прежнему зависит от характера задачи, уровня риска и способности команды проводить проверку.

Что нельзя однозначно утверждать на основании доступных доказательств?

  • Недостаточно независимых измерений, подтверждающих точность всех приведённых применений больших языковых моделей.
  • Нельзя сделать вывод, что модели создают полностью готовый код или дизайн без участия человека.
  • Судебное решение не разрешает все вопросы, связанные с обучением моделей на коде или использованием их результатов.
  • Заявленные результаты одной компании не доказывают общую эффективность всех моделей или отраслей.