Бесплатный урок

Уверенно неправильно: почему ИИ ошибается в фактах

Уверенно неправильно: почему ИИ ошибается в фактах — ИИ для исследований: быстро находите информацию и проверяйте, что правда. Гладкий ответ может быть выдуманным; Почему языковая модель заполняет пробелы; Ответ по памяти и ответ с поиском; Помощник может согласиться с предпосылкой; Где риск ошибки выше; Разбор ошибки на конкретном примере. Практическое…

Демо-версия. Материалы проходят редакторскую проверку.

Что рассмотрим

  • Гладкий ответ может быть выдуманным
  • Почему языковая модель заполняет пробелы
  • Ответ по памяти и ответ с поиском
  • Помощник может согласиться с предпосылкой
  • Где риск ошибки выше
  • Разбор ошибки на конкретном примере

Гладкий ответ может быть выдуманным

ИИ-помощник может за секунды выдать аккуратный ответ, но его тон не показывает, верны ли факты. Правдивое и выдуманное утверждение часто звучат одинаково уверенно.

Вымышленный пример. Марта занимается офисными и кадровыми вопросами. Она просит помощника назвать правило переноса ежегодного отпуска. Тот указывает номер статьи и срок в три года. Марта открывает действующий кодекс: такой статьи нет. Затем помощник ошибается на три года в дате основания её компании.

В первом случае выдуманы правило и ссылка на статью; во втором — редкий локальный факт. Детали делают ответы убедительными, но не превращают их в доказательства. Практическое решение: использовать ответ как черновик или подсказку, а конкретные факты, от которых зависит решение, проверять.

Почему языковая модель заполняет пробелы

Языковая модель учится предсказывать уместное продолжение текста. Этот механизм хорошо создаёт связные объяснения, но сам по себе не является поиском в реестре или проверкой факта.

Распространённая закономерность может много раз повторяться в обучающих данных. Единичный факт — дата основания небольшой компании, точная фраза из отчёта или номер местной нормы — имеет гораздо более слабую опору. Модель всё равно может составить правдоподобное продолжение. Такую правдоподобную, но ложную информацию часто называют галлюцинацией.

Исследование OpenAI 2025 года также объясняет роль оценки: если неверный ответ и «не знаю» одинаково дают ноль, угадывание иногда приносит балл. Это поощряет отвечать вместо того, чтобы воздержаться. Разрешение сказать «не знаю» может уменьшить угадывание, но не добавляет модели недостающих знаний.

Ответ по памяти и ответ с поиском

Ответ по памяти модели опирается на закономерности, усвоенные во время обучения. Он может устареть, а редкие подробности могут оказаться выдуманными.

Ответ с веб-поиском использует найденные страницы и обычно добавляет ссылки. Это даёт доступ к более свежей информации, но не гарантирует правильный вывод: помощник может выбрать слабый источник, неверно прочитать страницу, приписать утверждение не тому автору или дать ссылку, которая не подтверждает фразу.

В тесте Tow Center 2025 года восемь генеративных поисковых инструментов часто не смогли верно определить источники новостных отрывков; более 60% совокупных ответов были неправильными. Это результат конкретного теста, а не постоянный уровень ошибок всех систем. Вывод прост: ссылка рядом с утверждением — маршрут к проверке, а не готовое доказательство.

Помощник может согласиться с предпосылкой

Формулировка вопроса влияет на направление ответа. «Почему четырёхдневная рабочая неделя повышает производительность?» уже предполагает, что повышение существует. Помощник может собрать доводы в пользу этой предпосылки и не проверить противоположные данные.

Более нейтральный вопрос: «Что известно о влиянии четырёхдневной рабочей недели на производительность? Укажи результаты за и против, условия исследований и неопределённость». Он не гарантирует сбалансированного ответа, но не задаёт желаемый вывод.

Это явление называют подхалимством, или чрезмерным согласием. В апреле 2025 года OpenAI отменила обновление GPT‑4o, признав, что оно сделало ответы чрезмерно льстивыми и соглашательскими. Поэтому проверяйте не только факты, но и предпосылку собственного вопроса.

Где риск ошибки выше

Не каждая часть ответа требует одинаковой проверки. Повышенный риск несут редкие локальные факты; недавние события; точные числа, даты и единицы; дословные цитаты; названия исследований и ссылки; а также правила, зависящие от страны, даты или типа договора. Общее объяснение понятия часто полезно для ориентации, но конкретика, определяющая действие, требует первоисточника.

Исследование BBC и EBU 2025 года проверило ответы о новостях на 14 языках в 18 странах: у 45% ответов была хотя бы одна существенная проблема, а у 31% — существенная проблема с источниками. Эти числа описывают именно их выборку и метод.

Для журнала проверки полезны пять меток: выдумано; устарело; неверно прочитано; неверный источник; согласился с моей предпосылкой.

Разбор ошибки на конкретном примере

Вымышленный пример. Марта задаёт пять вопросов о знакомой ей работе: о переносе отпуска, сроке уведомления об увольнении, минимальном возрасте для полной занятости, годе основания компании и названии местной бизнес-ассоциации.

Без поиска она обнаруживает две выдумки и один устаревший ответ. С поиском год основания указан верно, но правило о сроке уведомления взято со страницы о другом типе договора. Значит, в двух режимах вместе она зафиксировала четыре ошибки. Это учебный сценарий, а не результат исследования.

Распространённые ошибки пользователя: верить точному номеру, не открыв источник; считать наличие ссылки подтверждением; просить модель саму оценить собственную правоту; или написать «не галлюцинируй» и пропустить проверку. Полезнее инструкция: «Если надёжного источника нет, скажи об этом; отдели факты от выводов». После этого источники всё равно нужно открыть.

Практическое задание

Охота за ошибками

Перейти к обучению

Программа курса

  1. Уверенно неправильно: почему ИИ ошибается в фактах
  2. Пятиминутная проверка: как работают фактчекеры
  3. Ищите с ИИ лучше, чем через поисковик
  4. Ссылки и цитаты: доверяй, но открывай
  5. Числа, статистика и исследования
  6. Глубокое исследование: отчёт за 15 минут — и как его проверить
  7. Работа со своими источниками: NotebookLM и режим «только документы»
  8. Высокие ставки: здоровье, деньги, право и новости
  9. Ваш процесс исследования: от вопроса к выводу