Издатели США и Британии требуют закона против скрытых ботов

«Мы тесно работаем с нашими британскими коллегами», — сказала гендиректор News/Media Alliance Даниэль Коффи (Danielle Coffey). 14 октября топ-менеджеры крупных медиакомпаний, среди них Condé Nast и The Guardian, опубликовали совместное заявление с призывом поддержать законопроект депутата Дэмиана Хиндса (Damian Hinds) — Automated Online Software (Access and Transparency) Bill. «Боты теперь составляют более 50% мирового веб-трафика, и такие меры жизненно необходимы для защиты открытого интернета, британских интересов и способности авторов контролировать свой контент», — говорится в заявлении.

Требование прозрачности подкреплено данными о маскировке краулеров. Анализ Piano данных Cloudflare показал: 70% бот-трафика не проходит верификацию. Компания Centinel в отчёте Fake Googlebot and AI Crawlers (конец июня — 21 сентября) выявила: на типичном сайте каждая седьмая заявка на принадлежность к Googlebot не подтверждается, 84% запросов от имени GPTBot и 99% от имени Perplexity-User — фальшивые, а 94% фальшивых Googlebot копировали реальную строку версии краулера Google.

Работают ли собственные блокировки?

Частично. Reuters с начала года перешёл к политике блокировки по умолчанию. «Мы делаем всё возможное, чтобы блокировать неавторизованных ботов. Но это не всегда стопроцентно надёжно», — признал Фил Андраос (Phil Andraos), генеральный менеджер цифрового направления Reuters, на Digiday Publishing Summit. People Inc. после месяцев «cat-and-mouse» с краулерами, менявшими идентичность, в январе тоже ввела блокировку по умолчанию. «Блокировать надо на уровне CDN. Список имён — это как шоколадный чайник. Robots.txt не делает ничего», — заявил Робертс.

Издатели также указывают на экономику: рынок перепродажи доступа к чужому контенту оценивается в миллионы долларов. Робертс привёл пример Exa, привлекшей $85 млн при оценке $900 млн в сентябре прошлого года и затем $250 млн в раунде Series C при оценке $2,2 млрд в мае. «Таких „напстеров контента" около 80», — сказал он. Юристы ожидают эскалации: «Многие правообладатели хотят более жёстких рамок, чем добровольные меры вроде robots.txt», — отметил Аарон Рубин (Aaron Rubin), партнёр Gunderson Dettmer, указав на прецедент GDPR, за которым последовала волна законов о приватности в штатах США.

Что ещё происходит в отрасли

• Condé Nast: прибыль британского подразделения за год упала на 36% — с £28 млн до £18 млн.
• 15% американцев получают новости из ИИ-чатботов против 9% в 2025 году, по данным Pew Research Center.
• Более 400 издателей участвуют в платной ИИ-программе Google News; Forbes присоединился к пилоту на фоне падения реферального трафика примерно на 45% год к году.
• Reach заключила платную лицензионную сделку с Google и одновременно направила OpenAI cease-and-desist письмо за несанкционированный скрейпинг.
• The Independent впервые получила от social-commerce больше выручки, чем от SEO; четыре направления роста — ИИ, контент создателей, e-commerce и подписки — дадут почти половину выручки в 2026 году.
• Meta удалила явные упоминания ИИ-обучения из новых условий, но сохранила широкие права на скрейпинг сайтов издателей, сообщает Nieman Lab.

Вывод прост: издатели сделали ставку на закон, потому что техническая оборона больше не сдерживает ботов.