В последнее время все мы узнали, что такое нейросети, но до сих пор непонятно, действительно ли за ними будущее? Чтобы разобраться в этом, нужно понять, как устроен ChatGPT и откуда берутся заголовки «нейросеть обманула человека». Расскажем, почему так происходит.

Самую популярную из них создала OpenAI. Это GPT модель, обучение которой продолжается с 2018 года. Но раньше для него применяли авторегрессионный способ. Он основан на использовании значительного объема текстовой информации. Но ее ответы были шаблонными, а сфера применения ограничена.

Что изменилось

Для этого нужно понять, как устроена нейросеть нового поколения. Если раньше ее учили на классических текстах, потом решили изменить алгоритм.

Прорывом стало использование технологии RLHF. То есть обучения на основе отзывов живых людей. Так и появилось новое поколение ChatGPT что это такое на практике?

Версию 3.5 тренировали при помощи разметчиков, которые выбирали из нескольких вариантов ответа самый лучший. Целью было научить нейросеть вести диалог с пользователем, выдавая результат, максимально отвечающий ожиданиям. Операторы смогли добиться успеха.

За счет этого теперь мы можем задать вопрос нейросети и получить ответ как от живого собеседника.

Помимо эффекта общения, разработчики пытались повысить точность, правдивость и корректность. То есть нейросеть должна давать только толерантные ответы. Это само себе приводит к некоторому искажению информации, но пользователям регулярно удается ее «обмануть», заставив поступиться своими «принципами».

Как работает нейросеть

Нужно учитывать, что ChatGPT обучают преимущественно англоязычные сотрудники. Пусть он и работает на разных языках, но учитывает в основном культурный контекст этого лингвистического пространства.

А значит, некоторые ответы, например, на русском могут быть искажены.  

Также нужно понимать, что искусственный интеллект не в состоянии самостоятельно верифицировать информацию. За это отвечают специальные сотрудники — разметчики.

В теории вполне возможна ситуация, в которой люди обучат нейросеть фактам, которые не соответствуют действительности. Для этого нужно всего лишь допустить ошибку или сознательно верифицировать ложную информацию.

Разработчики пытаются стандартизировать обучение. Например, Microsoft выпустила собственный свод правил. Он претендует на то, чтобы стать отраслевым стандартом.

В нем собраны конкретные указания — как должна отвечать нейросеть. Там есть требования к правдивости и безопасности информации, отсутствию стереотипов и дискриминирующего контента.

Если пользователь задает вопрос нейросети, ответ на который подпадает под правила цензуры, она должна отказаться отвечать.

Есть отдельное правило, касающееся политики. В случае таких вопросов, ChatGPT обязан сослаться на список достоверных сайтов, которые прошли проверку от Bing. Что создает вполне понятные риски политической цензуры.

Как пользователи переубеждают нейросеть

Проверять, как устроен ChatGPT, сразу после релиза стали сотни тысяч пользователей. Они быстро смогли найти основные баги. Самой впечатляющей стала возможность «переубедить» нейросеть.

Если не согласиться с данным ей правильным ответом и выдать свой неправильный, то в ответ можно получить согласие.

Значит ли это, что пользователи по всему миру «скормили» нейросети неверные данные?

Нет, это не так.

Обычный пользователь не может «переубедить» ChatGPT, так как он не имеет соответствующих полномочий. Формальное согласие, которое он выдает в процессе взаимодействия, нужно считать попыткой поддержать диалог.

Нейросеть обучена подстраиваться под контекст беседы и выдавать ожидаемый результат. В целом же эту возможность считают багом — дефектом, который наверняка исправят в следующей версии.

Точно можно сказать одно: если вам удалось убедить нейросеть, что коровы летают, на ответах для следующих пользователей это никак не отразится.

Чат GPT врет!

Такие сообщении часто можно встретить на форумах любителей тестировать новые технологии. Но связано это мнение с непониманием того, как устроена нейросеть.

Начнем с начала — искусственный интеллект не может лгать. То есть заведомо вводить людей в заблуждение с какой-то целью. Не говоря уже о том, что собственных целей у нее тоже быть не может.

Если нейросеть обманула человека, то сделала это потому, что предоставила неверные данные непредумышленно.

Давайте разберемся, откуда они взялись.

GPT модель работает на основе открытых источников, которые считают достаточно достоверными ее разработчики. Значение слов она смотрит в словаре, финансовый термин объяснит, используя справочник и т.д. Чаще всего, она пользуется точно теми же поисковыми системами, что и сам пользователь.

Если там нет однозначных ответов, не допускающих иную трактовку, то нейросеть может ошибиться: выдать непроверенные факты. На данном этапе развития технологии это случается довольно часто.

Тут возникает вполне логичная оговорка: вы же не верите всему, что написано в интернете? Вам ведь случалось находить на первых позициях в поисковиках откровенную ложь? Вы помните, сколько казусов произошло из-за того, что люди считали надежным источником «Википедию»?

Например, самая громкая история «китайского Борхеса» — домохозяйки, которая три года писала в «Википедию» статьи о вымышленных событиях из истории княжеств Средневековой Руси.

Ей удалось ввести в заблуждения обычных пользователей за счет того, что немногочисленные говорящие на китайском специалисты по истории России просто не видели этих текстов. Но у нейросети таких механизмом верификации нет. Для этого ей нужны люди.

Как бороться с «ложью» ChatGPT

Для этого используют промт-инжиринг. То есть методику написание верных запросов. Самый простой способ добиться правильного ответа — указать источник, из которого нейросети следует брать информацию.

Аналогично развивается и внутренняя система верификации. Модели интегрируют с проверенными базами знаний, из которых нейросети могут получить достоверные данные.

Веб-услуги и разработка в YuSMP Group — лучший выбор для реализации ИТ-проектов. Больше интересных текстов про технологии —  читайте в блоге студии web-разработки YuSMP Group или посмотрите кейсы проектов, которые мы создали.