В ответ на запрос пользователя большие языковые модели могут выдавать не только непроверенную информацию, но и совершенно абсурдные ответы. Кажется, что доля галлюцинаций в создаваемом ИИ контенте со временем лишь возрастает. Генеральный директор компании VolgaBlob Александр Скакунов считает, что нужна новая модель работы с данными, предполагающая разделение массового продукта и «чистых водоемов» с отфильтрованным и верифицированным содержанием
Замыкание на себя
Наверное, каждый, кто активно работает с большими языковыми моделями (LLM), не раз и не два сталкивался с проблемами галлюцинаций (ситуация, когда чат-бот или языковая модель создает ложный, вводящий в заблуждение или полностью вымышленный контент, подавая его как достоверный факт. ). По одного из недавних экспериментов, доля ошибочных ответов колеблется от 3% до 27%, в зависимости от модели ИИ. Другие исследования фактические ошибки в 46% сгенерированных текстов, а логические — в 31%.ИИ склонен ошибаться, но это еще полбеды. Часто он не просто ошибается, а уверенно и с воображением генерирует бред. Широкий резонанс получил случай, когда Google AI Overviews добавить клей в томатный соус, чтобы сыр на пицце лучше держался. В другой раз он подтвердил существование и придумал смысл нереальной поговорки: «Барсука дважды не лизнешь».
Скандальная история с американским адвокатом Стивеном Шварцем, который попал под дисциплинарное разбирательство, когда сослался в суде на шесть несуществующих прецедентов, сгенерированных ChatGPT. Однако проблемы, связанные с бредогенерацией ИИ, могут иметь куда более серьезные последствия, чем репутационный ущерб. Ученые из Массачусетского университета в Амхерсете , что медицинские заключения, созданные ИИ, содержат некорректный контент и обобщения, неприемлемые с точки зрения медицинской этики.
Загрязнение источников
ИИ-модели, перегруженные бесконечным потоком однотипных вопросов, промптов, обрывков ошибочных и сознательно фальсифицированных знаний, начинают сами воспроизводить эти искажения. При этом отношение к технологии остается потребительским: пользователь хочет получить информацию, а не создавать новое знание. Возникает замкнутый круг, качество информации деградирует, как водоем, в который без остановки сливают сточные воды.Почему так происходит? В первую очередь, из-за замкнутой экосистемы, где приток новых, достоверных данных снижается. Мы видим, что интернет, как основной источник текстов, начал истощаться. Оцифровка качественных источников — книг, статей, записей научных дискуссий — была сложным и дорогостоящим процессом, но она уже в значительной степени завершена. Потенциал таких источников для обучения ИИ практически исчерпан.
Новые хорошие текстовые данные из верифицированных источников появляются в мизерных объемах — сотые или тысячные доли процента от общей массы. Кроме того, многие интернет-сообщества, например, Reddit, осознавая угрозу бесконтрольного использования их контента для тренировки ИИ, стали доступ к своим ресурсам. В результате вместо создания оригинального контента информация в интернете все чаще воспроизводится в различных интерпретациях, что приводит к «заболачиванию». Отчасти проблему мог бы решить видеоконтент. Но пока значительного прогресса в трансформации видео- и аудиоконтента в текст, который мог бы стать новым источником данных, не произошло.
Вторая проблема заключается в том, что подавляющее большинство данных, генерируемых в мире, непригодно для обучения LLM. С одной стороны, крупные корпорации (Boeing, Airbus, РЖД) за один час могут создать объемы данных, превышающие весь корпус мировой литературы по теме. С другой, эти данные — телеметрия, транзакции, показания датчиков, аутентификации пользователей, серверные логи — в основном представляют собой «сухие» нули и единицы, непригодные для обучения и работы LLM. Им требуются данные, подходящие для восприятия человеком: литературные тексты, посты в соцсетях, обсуждения на форумах, где присутствует структура, смысл и логика. Это то, что можно привычным для ИИ образом разложить на весовые значения слов и использовать для общения с человеком на естественном языке. Например, литературное произведение для ИИ-моделей ценнее, чем петабайты телеметрических данных от Boeing, так как в нем содержатся нарративы и контекст.
Огромные массивы машинных данных, конечно, не пропадают зря. Компании успешно строят бизнес на их глубоком анализе — выявляют причинно-следственные связи, строят прогнозные модели и извлекают практическую ценность. Для пользователей это уже сегодня означает повышение эффективности, снижение затрат и новые возможности. Логично ожидать, что в будущем подобные данные научатся применять в обучении генеративного ИИ, позволив ему совершить качественный скачок в точности и полезности.
Третья причина — стремительный рост объемов вторичной и синтетической информации. Для языковой модели текст романа «Война и мир» и рецензия на него в каком-то смысле равнозначны. Модель не отличает первоисточник от производного текста, и инструментов для этого пока не создано. А вторичных материалов уже на порядки больше, чем оригинальных. В итоге качественные тексты размываются потоком их переосмыслений и пересказов. Например, если пользователь просит эссе по роману Толстого, то создается «новый» текст, в котором нет ничего принципиально нового, но он попадает в сеть и становится частью общей массы. В итоге 0,001% исходных качественных литературных текстов размывается десятками, сотнями, тысячи процентов производных от них.
Все это ведет к «отупению» ИИ. Но виновата не модель, а среда, в которой она функционирует. Информационное поле распределяется типичным образом: в середине — масса однотипного контента, в «хвостах» — уникальное и сложное, на что модель отвечает хуже. Но именно эти хвосты важны: научные исследования, глубокая аналитика, редкие факты.
Кроме того, для обучения новых моделей ИИ теперь используется контент, сгенерированный предыдущими моделями, включающий в том числе и сфабрикованную информацию, встроенную в правдоподобные повествования и логические цепочки. В итоге это только повышает градус бреда.
Весной 2025 года вышло исследование OpenAI из которого , что последние на тот момент и наиболее мощные модели компании — 03 и 04-mini в 33% и 48% случаев соответственно выдавали ложную информацию при тестировании Это более чем в два раза превышает показатель старой модели o1. Согласно тестам, новая модель рассуждений R1 от китайской компании DeepSeek, галлюцинирует гораздо чаще, чем ее же более ранние модели.
Как бороться с бредогенерацией
Мы впервые переживаем эпоху, когда границы между правдой и вымыслом становятся настолько размытыми. Но кое-какие выводы уже можно сделать.Во-первых, попытки регулировать доступ к данным и LLM пока безуспешны. Например, эксперименты с аутентификацией через некие «точки доверия» проваливаются — и в России, и за рубежом. С одной стороны, это создает угрозы для развития бизнеса. С другой, централизованная проверка трафика требует ресурсов, которых нет даже у государства. Очевидно, что эксперименты в этой области будут продолжаться, но об их перспективах говорить пока сложно. Вероятно, успех ждет корпоративные решения, которые могут блокировать проблему хотя бы на уровне отдельных бизнес-единиц.
Во-вторых, не исключено, что мы стоим на пороге перехода к более специализированной модели работы с данными. Массовый контент, который сейчас заполняет интернет, останется для простых задач — вроде написания рефератов для школьников или студентов. А для серьезной исследовательской работы, аналитики и разработки ИИ потребуются «чистые водоемы» — проверенные, отфильтрованные и верифицированные данные. За доступ к таким данным компании и пользователи будут готовы платить, а значит, качественный контент станет доступен только по подписке.
Драйвером этих изменений могут стать крупные корпорации. Низкое качество данных тормозит их прогресс, поэтому они будут заказывать очистку данных и создание надежных датасетов. Станут востребованы инструменты для разметки существующих данных, своего рода «файерволы» для выделения в неструктурированных массивах информации оазисов с чистой, пригодной для анализа и дальнейшего использования информацией. Это предполагает, в первую очередь, избирательный доступ к данным на основании ролевой модели — что напрочь отсутствует в нынешних LLM. Сейчас они выдают ответы без разбора, не разграничивая доступ к датасету. Тот, кто первым предложит рынку такие решения, получит конкурентное преимущество.
В конечном счете, одна из ключевых проблем на сегодня — не столько бредогенерация сама по себе, сколько доверие к тому, что подсказывает машина. Важно держать в уме, что LLM в большинстве случаев просто не может ответить на вопрос «я не знаю». Для нее «дело чести» дать пользователю рационально выглядящий ответ, даже если он на деле будет чистым вымыслом. Не понимая этого, люди начинают выстраивать свою жизнь вокруг рекомендательных алгоритмов, отдавая на откуп ИИ планирование графика встреч, спорта, питания, не задумываясь при этом, что он может выдавать бесполезные и опасные результаты. Хуже того, отправляя ИИ результаты своих медицинских анализов, они на ложных выводах могут строить себе диагнозы, принимать таблетки и БАДы от несуществующих болезней, ухудшая свое здоровье.
Тут остается только порекомендовать скептически воспринимать ответы ИИ и перепроверять как сами выводы, так и ссылки на источники данных. Главное же — не просто использовать эти ответы, а размышлять над ними, тренируя свой собственный интеллект и не давая ему зачахнуть. Только осознанное использование ИИ позволит сохранить наш разум и не захлебнуться в потоке бреда.
