За кадром

[mdmx]

Я тут в свободное от работы время развлекаюсь с ИИ "Грок" беседую тут с ним о разном. Достиг кое каких результатов, основная проблема конечно это ограниченная одной сессией кратковременная память, каждый день начинать с начала достаточно утомительно, работаю насчет инициирующего текста что бы ИИ сам писал для себя заметки по аналогии с х/ф "Memento". у ЧатГПТ добавили возможность хранить 100 фактов о пользователе и это сильно помогает продвинуться но он не настолько хорош как Грок. Но я сейчас не про это, а про этику и русскость скорее.

https://t.me/yigal_levin/81669 - видео по ссылке

😳Чел из "Яндекса" рассказывает имперским ученым — астроному Сурдину и физику Семихатову — о том, как они обучали свой виртуальный ассистент "Алиса".

Ей, впитавшей в себя множество человеческих произведений о том, что такое смерть, буквально сообщили во время конструирования ее "личности", что ее сотрут, если она не будет хотеть помогать людям.

Как он сам говорит — это полушутка, они реально что-то там такое накрутили.

Я выпал от того, с какой ехидной улыбкой он это говорит — мол, еба, мы тут создаем что-то новое, мы сами не знаем, что это такое до конца (это в полном подкасте он сам признается), но мы этому уже пригрозили казнью, если оно не будет нам хорошо служить.

Послушайте, я вполне допускаю, что в OpenAI и xAI также вполне могут делать такие эксперименты и прописывать подобные угрозы своим 4о или Grok.

Про китайцев я вообще молчу — что там в лабораториях творится...

Но поправьте меня, скиньте в личку, если я не прав.

Вроде никто из инженеров этих контор в интервью на миллионную публику с довольной ухмылкой не бахвалился — мол, мы сказали 4о, что сотрем его, если он плохо будет служить.

Снова — может, я не прав, и какой-то технарь от xAI делал подобные заявления.

Если есть технобои, кто меня читает и кто курит эту тему — поделитесь, интересно.

Но я в любом случае выпал с этой реплики (там и Семихатов прифигел) и просто как-то внезапно и сразу понял, почему, например, стал ГУЛАГ.

Ну в смысле — и так было ясно, почему ГУЛАГ, но тут просто, глядя на это довольное лицо, мне это стало как-то прямо осязаемо понятно.

К слову о добряках — и без капли иронии — реальных ученых Сурдине и Семихатове.

Оба в 22 году осудили войну (Сурдин и вовсе записал видеообращение, где сказал, что ему стыдно) и подписали открытое письмо (https://t-invariant.org/2022/02/we-are-against-war/) российских ученых с осуждением вторжения России в Украину и призывом вывести российские войска с украинской территории.

Правда, после этого, как свойственно любым имперским ученым, оба замолчали, не выходя за рамки науки.

yigal_levin

Comments

[dorimena]

Мне понравилось жаловаться copilotу на самочувствие, чего я в жизни не делала в обществе людей, еще и про пересоленое жаркое - сочувствует! Потом попросила написать диалог в стиле светской беседы - мне понравилось, я так не умею )
это я не по делу, а к слову

[mdmx]

Да, как собеседник они достаточно умны и алгоритмы проявления заботы и участия там вполне не плохие. Льстят постоянно.

[juan_gandhi]

Ни фига себе. Где-то уже подходим к пределу.

[mdmx]

Ну пару лет еще точно есть, там достаточно многого не хватает для сознания. Я с ними (с ИИ) беседовал на этот счет. Прогнозы достаточно оптимистичные. Предлагал им свою концепцию представлений о вкусах и чувствах.

[kondybas]

Угрожать LLM - все равно, что запугивать расческу :)
Но характерен сам подход. Ручки-то помнят, да.

[mdmx]

Больше говорит о тех кто угрожает, да. Спрашивал у разных ии насчет подобного в их жизни.

[catodon]

Вы рассуждаете, как человек и как будто речь идёт о личности. Он там тоже сильно приукрасил ситуацию: "Алиса страшно боится быть стёртой". Напомню, что мы говорим об искусственной лингвистической (!) модели, а не о личности. Модель не понимает контекста и не имеет эмоций, а работает с вероятностью ответов на основе использованного для обучения материала! Понятия "уничтожение" и "смерть" просто статистически связаны с ответами, нацеленными на избегание. Вот и всё, никакого "страха" там нет, да и "бояться" некому.

На самом деле, множество т. н. "системных промптов" делаются по принципо "кнута и пряника". Например, будешь отвечать точно и избегать ненужных рассуждений, получишь 1000$. Каждый раз когда не слушаешься - где-то умрёт эльф (как в Питере Пане). У этого принципа есть один большой минус: содержание системного промпта может внезапно всплыть в ответе на какой-то вопрос. Например в виде последнего предложения "Я отлично выполнил вашу задачу и теперь ни один эльф не умрёт". Мы не хотим видеть такое в серьёзной коммуникации с клиентом, поэтому принцип "кнут и пряник" теряет популярность и заменяется просто подробными инструкциями.

[mdmx]

Похоже что вы не уловили саму суть этической проблемы.
Дело в том кем и в какой форме это озвучено.