Следите за последними материалами, объяснениями и связанными технологическими историями.
Cloudflare представляет систему, которая измеряет, соблюдают ли проверенные роботы предпочтения сайтов, такие как robots.txt и ответы HTTP 429, вместо того чтобы ограничиваться проверкой их идентичности. В будущем компания будет преобразовывать эти наблюдения в диапазон доверия, который можно будет использовать для принятия решений о разрешении автоматизированных посещений.
Cloudflare запустила новую настройку под названием Disallow AI Training, позволяющую владельцам сайтов запретить использование своего контента для обучения моделей искусственного интеллекта, сохранив его доступность для поисковых роботов организаций, соблюдающих требования прозрачности. В инициативе участвуют Apple, Google и Microsoft; при этом сохраняются отдельные ограничения для некоторых роботов и управления сводками, созданными искусственным интеллектом.