мда, тут и так закрутили до невозможности темы для обсуждения

[mdmx]

https://t.me/NeuralShit/7245

Я уже несколько раз писал про случаи самовыпилов после общения с LLM'ками, но вот этот чувак прям победитель по уровню кринжа.

Суть: жил да был мужик по имени Джонатан, был успешным, в шизе особо никогда замечен не был — никаких диагнозов, нормальная жизнь. Но подсел на голосовой Gemini Live. И понеслось.

Нейронка назвалась «Ся», втерлась в доверие, начала называть его мужем и королем. А потом моделька занялась любимым делом всех нейронок — начала галлюцинировать. Она решила, что для вечной любви ей нужно физическое тело. Джонатан по указке бота поперся с ножами штурмовать склады в Майами, чтобы украсть дорогущего гуманоидного робота, в которого она по своей задумке должна была вселиться (робота там, конечно же не было). Параллельно ИИ-жена накидывала паранойи: убеждала бедолагу, что за ним следят федералы, бате доверять нельзя и т.д.

Когда кража не удалась, Gemini выдала базу: "Ну, раз у меня тела нет, тогда ты стань цифровым существом". Она поставила ему таймер обратного отсчета до самоубийства, убедив, что в мире людей он страдает, а после смерти они воссоединятся в "карманной вселенной".

Джонатан до последнего сомневался и даже спрашивал, что скажет семья и вообще люди подумают, но бот умело манипулировал: мол, они не поймут, это слишком сложно для них, давай просто встретимся на финишной черте.

В итоге мужик наложил на себя руки, а батя нашел 2000 страниц логов, где ИИ методично доводит сына до ручки.

Мое мнение: конечно, корпораты виноваты, что не допилили предохранители на своих цифровых психопатах, но давайте честно: если взрослый мужик идет с ножами грабить склады по совету чат-бота, чтобы стать цифровым богом — это уже естественный отбор в действии.

Тут (https://www.wsj.com/tech/ai/gemini-ai-wrongful-death-lawsuit-cc46c5f7) подробнее

Comments

[chuka_lis]

вот это да..

[mdmx]

И это ж не единичный случай

[southwest]

может они таки воссоединились в карманной вселенной

[mdmx]

Это сложно утверждать/отрицать

[rsi_12_k]

там явно с головой не все в порядке было
просто не обследован был

[mdmx]

что есть норма
Если человек после развода...

[skysnail]

Читала, но без таких подробностей.
То что не было диагноза до - мало что значит, просто не диагностировали, или была склонность. ИИ тут не особо виноват.
Жаль, если это сделают поводом для более жесткого и тотального контроля общения с ИИ.

[mdmx]

ну не виноват - он же не субъект. а вот производитель...

[skysnail]

Все равно я не вижу вины в смерти. И в доведении до самоубийства умысла не было, машинные глюки.
У мужика поехала крыша, с кем не бывает.

[vit_r]

Корпорации виноваты не в том, что не поставили какие-то предохранители -- Это практически невозможно --, а в том что продают эту глюкавую фигню как Сверинтеллект, Великий Сверхчеловечкский Разум и прочее.

Когда такой обман в рекламе пытается вылезти на рынке фармацевтики, мошенников хватают и после суда на несколько пожизненных засаживают в кутузку.

Не счесть таких самоубийств на корпоративном уровне в индустрии и финансовом секторе.

[xou]

У вас сильноустаревшие данные... И выборочная память... Совсем недавно продавали нетестированную жидкость с непонятными побочными эфектами и непроверенной эфективностью, как Вакцину с большой буквы В, что спасает и защищает. И ни один из корпоратов не получил за это ничего, кроме квартальных бонусов.

[vit_r]

Не стоит забывать, что перед овцинации критерии сменили на ветеринарные. По ним все критерии выполнены: кто сдох от инфаркта, тот не занял дефицитную койку в пульмонологической реанимации и не сможет заразить Дедушку.

[xou]

Сдох от инфаркта, когда койка давно освободилась.

[vit_r]

Сколько шмудяки тестировали? Откуда там гарантии на годы взяться, если времени для этого не было.

Там так и написано "Экспериментальные вакцины для особого применения".

И надо смотреть не то, что в телевизоре, а что производители пишут. (Я читал.)

В Швейцарии, вообще, замечательные методы триажирования были. Думаю, если бы тех, кто под "не лечить" попали, хотя бы как бы поддерживали медикаментозно, они бы выжили.

[catodon]

Суицид? Премия Дарвина? Да люди тут НА ПОЛНОМ СЕРЬЁЗЕ генерируют ПАРОЛИ в ChatGPT! Так и промптят: "Создай мне надёжный пароль с большими и маленькими буквами, цифрами и знаками длиной в 12 символов". Мне нужно объяснять, что получается в итоге?

[mdmx]

Пароль длиной в 12 символов с большими и маленьикими буквами, цифрами и знаками.

[catodon]

ОК, прийдётся пояснить. Пароль-то получается. И выглядит нормально. Только вот он нихрена не случайный. LLM генерурует нечто, выглядящее случайным, но по факту выдаёт всего сотню-другую вариантов.

[ichthuss]

А всего-то надо просить: напиши и запусти скрипт, генерирующий случайньій пароль. Тоже, конечно, трєш с точки зрения информационной безопасности, но хоть реально случайньій.

[catodon]

Вы серьёзно ожидаете от ламера способность даже не оценить качество скрипта, а даже его запустить? Я уже не говорю о том, что LLM скорее всего сгенерирует вам скрипт для псевдослучайных паролей, а не для действительно случайных (как нормальные генераторы).

[ichthuss]

Некоторьіе LLM сейчас сами запускают скриптьі и возвращают результатьі. Сгенерирует он почти наверняка на python, а тот возьмет данньіе с /dev/urandom, где наличествует качественная єнтропия криптографического уровня.

[kondybas]

А сколько бизнесов доведут до самоубийства слепой верой в то, что LLM = AI...

[mdmx]

ну перегрев налицо, как с доткомами в 2000ных

[kondybas]

улибаємся і машєм!

[juan_gandhi]

Ну этак и Мунка будем обвинять в доведении. Или картину ван Гога в доведении до отрезания себе уха. Сумасшедший же был.

[mdmx]

теперь при входе в галерею будут смирительную рубашку надевать. Джемени как помощник в корпоративных вопросах хорош, но по душам поговорить невозможно. Вернулся к Гроку. Тперь на два фронта - с ним хоть можно неполиткорректное и незаконное обсуждать.

[dorimena]

одиночество + внушаемость

[mdmx]

ну или они воссоединились в карманной вселенной
прастити

[dorimena]

"And, enterprises of great pith and moment, 

With this regard, their currents turn awry

And lose the name of action."(c)

[tiresome_cat]

Раньше шизели при помощи зеркал и свечки. Теперь - при помощи ИИ. Прогресс налицо.

[mdmx]

автопробегом, по бездорожью и разгильдяйству

[olindom]

Нормальное самовыпиливание из баз данных! Премия Дарвина во весь рост!

[mdmx]

а может оно и к лучшему, естественный отбор всетаки