Следите за последними материалами, объяснениями и связанными технологическими историями.
Cloudflare представляет систему, которая измеряет, соблюдают ли проверенные роботы предпочтения сайтов, такие как robots.txt и ответы HTTP 429, вместо того чтобы ограничиваться проверкой их идентичности. В будущем компания будет преобразовывать эти наблюдения в диапазон доверия, который можно будет использовать для принятия решений о разрешении автоматизированных посещений.
Meta намерена 30 октября внедрить обновление коммерческих условий, которое позволит ей использовать контент сайтов, связанных с бизнес-аккаунтами, для доступа, индексации, анализа и обучения без явной возможности отказаться. Компания утверждает, что изменение ограничивается унификацией положений и не меняет механизм её веб-сканирования, однако юристы предупреждают, что оно может расширить полномочия Meta в отношении издателей и веб-контента.
Cloudflare запустила новую настройку под названием Disallow AI Training, позволяющую владельцам сайтов запретить использование своего контента для обучения моделей искусственного интеллекта, сохранив его доступность для поисковых роботов организаций, соблюдающих требования прозрачности. В инициативе участвуют Apple, Google и Microsoft; при этом сохраняются отдельные ограничения для некоторых роботов и управления сводками, созданными искусственным интеллектом.
Cloudflare объявила о выпуске Bot Preference Sync — функции, которая автоматически обновляет файл robots.txt в соответствии с настройками сайта для поисковых роботов, агентов и обучения. Функция будет доступна всем клиентам — от бесплатного тарифа до Enterprise, при этом возможность отключить синхронизацию сохранится.