Cloudflare, одна з найбільших у світі компаній, що займається мережевою інтернет-інфраструктурою, анонсувала AI Labyrinth – новий інструмент для боротьби з пошуковими роботами, які без дозволу сканують сайти в пошуках даних для навчання ШІ. У своєму блозі компанія повідомляє, що коли вона виявляє “неналежну поведінку ботів”, цей безкоштовний інструмент заманює пошукових роботів посиланнями на сторінки-приманки, згенеровані штучним інтелектом, які “сповільнюють, збивають з пантелику і марно витрачають ресурси” тих, хто діє недобросовісно.
Веб-сайти вже давно використовують підхід системи честі robots.txt – текстового файлу, який надає або забороняє дозвіл скраперам, але який звинувачують в ігноруванні ШІ-компанії, навіть такі відомі, як Anthropic і Perplexity AI. Cloudflare пише, що бачить понад 50 мільярдів запитів веб-сканерів на день, і хоча вона має інструменти для виявлення та блокування зловмисних, це часто спонукає зловмисників змінювати тактику в “нескінченній гонці озброєнь”.
Cloudflare стверджує, що замість того, щоб блокувати ботів, AI Labyrinth дає їм відсіч, змушуючи їх обробляти дані, які не мають нічого спільного з реальними даними конкретного веб-сайту. Компанія заявляє, що вона також функціонує як “медовий горщик наступного покоління”, залучаючи ШІ-сканери, які переходять за посиланнями на фальшиві сторінки все глибше, тоді як звичайна людина цього б не зробила. Це полегшує зняття відбитків пальців шкідливих ботів для списку поганих акторів Cloudflare, а також виявлення “нових шаблонів і підписів ботів”, які він не зміг би виявити в інший спосіб. Згідно з повідомленням, ці посилання не повинні бути видимими для відвідувачів.
