Cloudflare представила новую функцию Robotcop для соблюдения политик robots.txt

15:16, 11.12.2024

Содержание статьи

Описание новой функции Robotcop
Как Robotcop помогает в управлении трафиком и нарушениями политики

Описание новой функции Robotcop

Cloudflare анонсировала новую функцию в своей панели аудита под названием Robotcop. Этот инструмент помогает проверять, как различные AI-сервисы соблюдают политики, прописанные в файлах robots.txt, и позволяет пользователям автоматически применять эти политики на уровне сети. С развитием генеративного ИИ, который активно сканирует интернет для сбора данных для обучения моделей, многие владельцы сайтов начали обновлять свои политики robots.txt, ограничивая доступ не только для веб-сканеров, но и для ИИ-ботов.

Благодаря новой функции от Cloudflare, владельцы сайтов могут получить отчет о количестве запросов от различных ботов, включая те, что принадлежат ИИ-сервисам, таким как ChatGPT, Google Gemini и другие. В панели аудита можно фильтровать запросы по категориям и получать информацию о нарушениях политик.

Как Robotcop помогает в управлении трафиком и нарушениями политики

Функция Robotcop предоставляет отчеты о нарушениях политики для каждого бота. Пользователи могут увидеть, какой трафик нарушает установленные правила, а также получить всплывающие подсказки с деталями нарушений. В разделе «Популярные пути» отображается трафик, который нарушает политику сайта. Пользователи также могут применить правила robots.txt через расширенное правило брандмауэра, автоматически блокируя нарушителей.

Эта функция уже доступна всем пользователям Cloudflare, предоставляя дополнительные инструменты для эффективного управления доступом к сайту и защиты от нежелательных ботов.