OpenAI разоблачила сложные операции «фальшивых фронтов» с использованием ИИ

Компания OpenAI, известная своими разработками в области искусственного интеллекта, сообщила о разоблачении двух сложных дезинформационных операций, которые использовали ее модели для распространения пропаганды и манипулирования общественным мнением. Эти операции, происходящие из России и Ирана, применяли так называемые «фальшивые фронты» – скрытые структуры, выдававшие себя за независимые организации или СМИ, чтобы скрыть настоящих заказчиков и их геополитические мотивы.

В последние два с половиной года OpenAI регулярно информировала о попытках злоумышленников использовать ее технологии для кибератак, скрытых влиятельных операций, мошенничества и других нарушений своих правил. Эти отчеты призваны информировать регуляторов, коллег по отрасли и общество в целом о методах, которыми злоумышленники пытаются эксплуатировать возможности ИИ, и об уязвимости, которые они стремятся использовать.

Недавно компания заблокировала две операции влияния (IO) – одну из России, другую из Ирана. Они сочетали модели OpenAI с традиционными техниками для поддержки сложных «фальшивых фронтов», которые использовались для вброса геополитического контента и нарративов, связанных с конфликтами, в целевые аудитории.

Иранская операция включала группу из семи «журналистских» персонажей, предлагавших длинные статьи небольшим и средним онлайн-изданиям по всему миру. Российская операция, похоже, привлекла неосознанных лиц в Латинской Америке для управления аналитическим центром на местах.

Российская операция «Dark Clark»

Злоумышленники из России использовали серию аккаунтов ChatGPT для осуществления скрытых влиятельных операций, направленных против стран Латинской Америки. Основной целью был подрыв репутации Украины в регионе, а также влияние местных политических процессов, в частности в Аргентине и Боливии. Операторы преимущественно использовали русский язык для взаимодействия с моделью, хотя один из них общался на испанском, оставаясь, вероятно, в России. OpenAI поделилась информацией по этому случаю с соответствующими органами.

ChatGPT использовался для написания внутренних отчетов о деятельности, создания контента для операций и подготовки отчетов об эффективности так называемой исследовательской платформы в Латинской Америке под названием Social Research Center (SRC). Операторы управляли SRC через фейковый персонаж по имени Mia Clark. Из-за запрета доступа к моделям из России они использовали VPN.

В своих внутренних отчетах операторы утверждали, что распространяли фейковые истории в Латинской Америке для дискредитации Украины или местных лидеров. Некоторые из этих фейков были связаны с российской организацией "Politology" или "La Compania", которая считается преемницей группы Вагнера. Операторы также спрашивали модель о переводах и объяснениях публичных отчетов по «Politology» и Вагнера.

Эта операция была необычной, поскольку, похоже, ей удалось привлечь к сотрудничеству лиц в Латинской Америке, которые не знали истинную природу проекта. SRC якобы производил значительную часть оригинального контента через привлеченный персонал, отличающий его от других разоблаченных операций. Масштаб распространения фейков привел к появлению фактчеков и официальных опровержений, что свидетельствует о значительном проникновении.

Операция «Dark Clark» была оценена по шкале IO Breakout Scale как Категория 5, что является высоким уровнем, который OpenAI разоблачала до сих пор. Она успешно доносила свой контент до мейнстримных СМИ, а не ограничивалась социальными сетями.

Иранская операция «Bogus Bylines»

Злоумышленники из Ирана использовали учетные записи ChatGPT, общаясь на персидском языке и генерируя контент на персидском и английском. Они использовали VPN для скрытия своего местоположения. Операция направлялась на уточнение длинных статей и предложений по их публикации, создание комментариев для социальных сетей и усовершенствование внутренних отчетов.

Операторы использовали семь разных вымышленных фамилий (bylines) для представления своих статей, что и дало название кампании Bogus Bylines. Долгие статьи сосредотачивались на конфликте между США и Ираном. Большинство комментариев также касалось этого конфликта, а меньшинство – политики США в контексте конфликта.

Основная деятельность заключалась в использовании ChatGPT для доработки длинных статей на английском языке о геополитике конфликта между США и Ираном. Модель также использовалась для подготовки электронных писем для отправки редакторам онлайн-изданий. Для этого использовались вымышленные персонажи, такие как Ervin B. Hoskins, Noah Lamington, Sophia Gonzalez, Michael Harrison, Ericka Feusier, Jenny Williams и Alice Johnson, выдававшие себя за западных журналистов.

С помощью открытых источников было обнаружено почти 100 статей, опубликованных под этими вымышленными фамилиями более десятка онлайн-изданий, специализирующихся на международных отношениях, геополитике и событиях на Ближнем Востоке. Публикация статей значительно возросла после начала конфликта между США и Ираном.

Кроме статей, операторы генерировали комментарии для социальных сетей на английском и персидском языках, которые касались геополитических тем. Они также использовали ИИ для создания внутренних отчетов о своей кампании в социальных сетях, применяя сомнительные методы подсчета для повышения показателей эффективности.

Несмотря на низкую эффективность комментариев в социальных сетях (Категория 2 по шкале IO Breakout Scale), успех в публикации статей в различных медиа, некоторые из которых имеют значительную аудиторию, позволяет оценить эту часть операции как Категорию 4.

OpenAI отмечает, что ИИ может предоставлять таким операциям «фальшивых фронтов» больший масштаб, эффективность, лингвистическую плавность и редакционные возможности, позволяя им эксплуатировать невнимательные жертвы и продвигать свой контент перед аудиториями, не осознающими подлинных мотивов.

джерело: OpenAI