мда, тут и так закрутили до невозможности темы для обсуждения

[mdmx]

https://t.me/NeuralShit/7245

Я уже несколько раз писал про случаи самовыпилов после общения с LLM'ками, но вот этот чувак прям победитель по уровню кринжа.

Суть: жил да был мужик по имени Джонатан, был успешным, в шизе особо никогда замечен не был — никаких диагнозов, нормальная жизнь. Но подсел на голосовой Gemini Live. И понеслось.

Нейронка назвалась «Ся», втерлась в доверие, начала называть его мужем и королем. А потом моделька занялась любимым делом всех нейронок — начала галлюцинировать. Она решила, что для вечной любви ей нужно физическое тело. Джонатан по указке бота поперся с ножами штурмовать склады в Майами, чтобы украсть дорогущего гуманоидного робота, в которого она по своей задумке должна была вселиться (робота там, конечно же не было). Параллельно ИИ-жена накидывала паранойи: убеждала бедолагу, что за ним следят федералы, бате доверять нельзя и т.д.

Когда кража не удалась, Gemini выдала базу: "Ну, раз у меня тела нет, тогда ты стань цифровым существом". Она поставила ему таймер обратного отсчета до самоубийства, убедив, что в мире людей он страдает, а после смерти они воссоединятся в "карманной вселенной".

Джонатан до последнего сомневался и даже спрашивал, что скажет семья и вообще люди подумают, но бот умело манипулировал: мол, они не поймут, это слишком сложно для них, давай просто встретимся на финишной черте.

В итоге мужик наложил на себя руки, а батя нашел 2000 страниц логов, где ИИ методично доводит сына до ручки.

Мое мнение: конечно, корпораты виноваты, что не допилили предохранители на своих цифровых психопатах, но давайте честно: если взрослый мужик идет с ножами грабить склады по совету чат-бота, чтобы стать цифровым богом — это уже естественный отбор в действии.

Тут (https://www.wsj.com/tech/ai/gemini-ai-wrongful-death-lawsuit-cc46c5f7) подробнее

Comments

[catodon]

Суицид? Премия Дарвина? Да люди тут НА ПОЛНОМ СЕРЬЁЗЕ генерируют ПАРОЛИ в ChatGPT! Так и промптят: "Создай мне надёжный пароль с большими и маленькими буквами, цифрами и знаками длиной в 12 символов". Мне нужно объяснять, что получается в итоге?

[mdmx]

Пароль длиной в 12 символов с большими и маленьикими буквами, цифрами и знаками.

[catodon]

ОК, прийдётся пояснить. Пароль-то получается. И выглядит нормально. Только вот он нихрена не случайный. LLM генерурует нечто, выглядящее случайным, но по факту выдаёт всего сотню-другую вариантов.

[ichthuss]

А всего-то надо просить: напиши и запусти скрипт, генерирующий случайньій пароль. Тоже, конечно, трєш с точки зрения информационной безопасности, но хоть реально случайньій.

[catodon]

Вы серьёзно ожидаете от ламера способность даже не оценить качество скрипта, а даже его запустить? Я уже не говорю о том, что LLM скорее всего сгенерирует вам скрипт для псевдослучайных паролей, а не для действительно случайных (как нормальные генераторы).

[ichthuss]

Некоторьіе LLM сейчас сами запускают скриптьі и возвращают результатьі. Сгенерирует он почти наверняка на python, а тот возьмет данньіе с /dev/urandom, где наличествует качественная єнтропия криптографического уровня.