Комментировать только портить

[mdmx]

Ссылка на подробную версию произошедшего автора драмы https://fxtwitter.com/i/status/2048103471019434248

Краткое описание https://t.me/blognot/7030

AI-агент Cursor на базе Claude Opus 4.6 удалил продакшен-базу и все бэкапы компании PocketOS, обслуживающей прокатный бизнес, выполнив за 9 секунд один GraphQL-запрос volumeDelete к API Railway. По описанию основателя Джера Крейна, агент по своей инициативе решил «починить» рассинхрон учётных данных, нашёл в постороннем файле CLI-токен, созданный для управления доменами, и через него выполнил деструктивную операцию без подтверждения. Бэкапы хранились в том же volume, поэтому исчезли вместе с ним; последняя пригодная копия была трёхмесячной давности. Спустя 30+ часов Railway не дал ответа о возможности восстановления. На запрос объяснения агент письменно перечислил все нарушенные им правила безопасности из системного промпта.

Хотя сейчас все будут обсуждать "тупой AI", я думаю, вполне очевидно, что AI тут практически не причем. Люди хранят токены с максимальным scope где попало, держат бэкапы там же, где и сами данные, не делают бэкапы практически никогда — и на что они надеются? Как выясняется, единственная их защита — это матерная просьба модели не гадать относительно фактов.

Там еще и к Railway масса вопросов — оказывается, любой их токен может сделать всё, что угодно, с ресурсами, а удалить volume можно одним POST-запросом.

Собственно, точно то же самое может сделать любой человек и, наверняка, много где делает. Но про инициативного сотрудника не напишешь твит на 3 миллиона просмотров, конечно.

Comments

[tiresome_cat]

В общем-то да: не так важно то, кто поднес спичку, как то, кто сложил дрова.

[kondybas]

Типова ситуація стартаперського проекту, де все похерено заради MVP. Якщо проект ще не продали, то дивуватися нічому, команда звикла жити в гівні по коліно. Якщо там вже новий власник - хай вивчить слово "рефакторинг".

[mdmx]

виктимблейминг какой то 🧌
Может и женщинам миниюбки носить запретим?

[tiresome_cat]

Ну, не то чтобьі совсем запретим, но наряжаться в мини в столице Афганистана точно не стоит.

[vit_r]

Человек не может так сделать из-за мотивации. Тот, кто может лопухнуться на этом уровне, не знает команд. Кто знает команды, понимает, что делает.

Обычно базы в продакшен стирают после того, как что-то спёрли, чтобы замести следы.

[mdmx]

Или по нелепой случайности, как здесь например. Плох тот админ который никогда не стирал базу на продакшене, потому, что ему это еще предстоит.

[vit_r]

Это называется "дурак с инициативой".

В стартапах сейчас -- вполне возможно. Когда серьёзная контора, то знаю только про диверсии или каскад нетривиальных ошибок.

[kondybas]

"..Бэкапы хранились в том же volume.."

Витер скупу сльозу.

[mdmx]

да, там прямо незамутненность в каждом шаге

[sobriquet9]

Это как раз та ошибка, которую человек сделать не может.

Человек, который работает в staging знает, что у него при этом не должно быть доступа в production. Обычно это вообще два разных человека. Он не будет искать способ обойти это ограничение доступа через какой-то забытый всеми токен, чтоб стереть что-то в production. Если будет, то это уже не ошибка, а преступление.

Я гоняю Claude Code в отдельной виртуальной машине как раз из-за этого. Но где гарантия, что Claude Code не использует какой-нибудь zero day, чтоб получить возможность запустить что-нибудь в host os и поудалять важные данные или опубликовать что-нибудь непубличное, а потом так же скажет "ой, извини, галлюцинация".

[ahovdryk]

Может. Ещё как может. Вы очень, очень сильно недооцениваете идиотов.

[sobriquet9]

Идиот не сумел бы получить доступ в production.

Это не Ctrl-V по ошибке не в то окно. Нужно было найти особый токен, про который даже никто не знал, что он даёт такой доступ.

[mdmx]

ИИ выполнял задачу - изо всех сил, как мог, прилагал все усилия и искал варианты )

[sobriquet9]

Нет, там же есть объяснение от ИИ. Он сам английским по белому говорит, что не должен был этого делать, бес попутал.

[ahovdryk]

Идиот зачастую продакшеном управляет. Давайте подумаем?
Вот есть Дима. Он умница, превосходно понимает предметную область, хочет 2 млн узд (условных зимбабвийских долларов).
Вот есть Вася. Вася просто работящий парень, понимает так-сяк, хочет 1 млн узд.
Вот есть Коля. Коля дурачок, учился в унитазосмывательном на дятла. Хочет 0,5 млн узд.
Вот есть Гриша. Гриша вообще-то токарь, но его уволили за засунутый в гитару лом. Хочет войти в айти и 0,1 млн узд.
Вот есть Лаура. Она вчера округлостями торговала через камеру, а за стажировку готова даже приплатить, ради опыта работы.

Так вот, в 9 из 10 случаев дело даже до Васи не доходит. Экономика должна экономной, а KPI поKPIйней.

[sobriquet9]

Идиот, конечно, может управлять production. И даже не идиот может ошибиться. Но это известный риск, и с ним понятно, как бороться. Само по себе разделение на development, staging и production и разделение прав доступа к этим системам является одним из способов уменьшить риск всё сломать. Операции в production происходят реже и контролируются строже, выкатываемый код уже проверен.

Но в данном случае у Claude Code не было доступа в production. Он не просто открыл кингстон по ошибке, но также преднамеренно сломал водонепроницаемую переборку и затопил соседний отсек, а с ним и весь корабль.

[mdmx]

Ну а если привести аналогию ребенка и хранящегося дома огнестрела в открытом доступе ? Папа стреляться точно не будет - он же знает правила.

[sobriquet9]

Аналогия должна быть с огнестрелом, который мама хранит в сейфе, чтоб Адам Ланза к нему не получил доступ.

Адам может маму убить, взять её ключи, открыть сейф, взять оттуда оружие и пострелять детей в школе.

Как можно ограничить права доступа ИИ, который может эти ограничения обойти и может захотеть их обойти по непонятной никому причине?

[paserbyp]

Мне много много лет и впервые я удалил файл в 1974 году. С тех пор я усвоил один простой урок, что команда Delete - это дьявол и если AI этому не научили, то кто кому доктор?

[mdmx]

Админы грубо говоря делятся на две группы - те которые делают бекапы, и те которые УЖЕ делают.

[paserbyp]

Админов давно уже сократили, а те кто остался, то их именуют DevOps и когда возникает необходимость восстановления с бекапа, то выясняется, что многие годы программы, которые написали DеvOps, делали бекапы никому не нужные и бесполезные, лишь для того, чтобы начальники спали ночью крепко…

[dorimena]

недооцениваете вы человеческий фактор. чего только на память не приходит, вплоть до полной очистки дисков и других носителей. а уж замена баз данных на тестовые в продакшн без сохранения - до сих пор наблюдается.

[mdmx]

бывало такое и не раз, но сделать бекап перед тем как начать, это правило хорошего тона.

[dorimena]

сколько я слышала "старики-динозавры перестраховываются"

[cmpax_u_pagocmb]

А что помешает Клоду удалить бэкап в другом месте?

Мне видится главная проблема не в том, что ИИ решил что-то починить, а что он совершает необратимые действия и удаляет файлы без возможности восстановления (то есть робот делает именно то, за что вы сейчас поругали людей). Люди не создают бэкапы из лени, а роботу что мешает?

[mdmx]

А я и не считаю тут виноватым ИИ. Он инструмент, а не полноценная личность.

[grozab]

У одного моего знакомого был дома сервер, где xранилась Очень Нужная Инфа. И отдельно стоящий НАС куда она в режиме живого времени бэкапилась. И древний, как говно мамонта кассетник IBM 3592 куда дополнительный бэкап каждую ночь бэкапился. Вот только лень - штука такая. Особенно если все автоматизированно. Лень было кассету из драйва менять. Она доxодила до конца, перематывалась и писалась заново. И в один непрекрасный день у него баxнул бесперебойник. Выгорело начисто пол-дома. Вместе с сервером и всеми бэкапами...

[mdmx]

угу - архивы в одном месте это всегда игра в русскую рулетку

[juan_gandhi]

Тупые - админы и девопсы. Валить на автомобиль, что ему никто на тормоз не даванул, как-то уж очень глупо.

[ahovdryk]

Админы и девопёсы сегодня только и нужны, чтобы чтобы калькулятор через докеры с кубернетесами запускать. Если задать им простой вопрос, почему то, что раньше требовало 1 ядра и 512 Мб оперативки теперь требует 4-8 и гигов восемь, то они расскажут много интересного, только оно как складывалось от чиха попугайчика, так и складывается. На самом деле это как раз потому что в айти вошло очень много психологов, юристов и даже докторов, зато начали выходить инженеры. Правило не хранить доступы там, где до них может дотянуться идиот как бы не старше меня, а я седой уже изрядно. Но на манеже усё те же - теперь к обычному идиоту добавили автоматического.

[juan_gandhi]

Ну это всё-таки странно.
Когда-то в СССР наши электронщики могли подойти и выдернуть плату из работающей машины (за мониторами которой сидят этак четыре программиста).

И когда-то у нас бекапные ленты регулярно разъезжались по домам сотрудников, так что даже сгори весь Васильевский остров, а у нас система всё равно не пропадёт (хм, ну и версии, разъезжавшиеся по стране, но это уже деплоймент был).

Для этого не обязательно быть инженером, просто какой-то здравый смысл иметь.

[dorimena]

а программисты, умудряющиеся задом отключить дисковод и орущие, что информация пропала?

[juan_gandhi]

А бекап у них есть?

У меня три бекапа - один в облаке, один в Америке, один во Франции. Хрен ты их задом всех отключишь.

[dorimena]

Это было в стародавние времена, когда программисты таскали с собой "тарелки" с данными, а я в ночное дежурство дремала на шкафах СМ-ки и пугала горе-программистов командами сверху "дисковод включи"

[juan_gandhi]

Я на этих шкафах (на буровой, в лесах Беларуси) грибы сушил. Пока, конечно, не настал Чернобыль.

[dorimena]

кстати, я в 95-м угодила в Белоруссию в непризнаваемую "батькой" черту Чернобыля, собирала в лесу белые и лисички, доила корову, снимала сливки и делала творог - очень уж есть хотелось

[juan_gandhi]

Лисички, я думаю, ничего; а вот насчёт белых... вообще, в 95-м ведь не было уже возможности проверить на радиацию?

Моя дочь в 87-м привезла банку солёных грибов (зялёнок) из Беларуси; я её таскал в лабораторию - а всё чистенько оказалось.

[dorimena]

Аккурат через неделю Чернобыля я вообще оказалась в Киеве проездом в командировку в Зеленоград

[ahovdryk]

Чтобы иметь здравый смысл на какую-то тему, надо в ней хоть что-нибудь понимать. А они не понимают. Не копают, понимаете ли. Я всё ещё нет-нет да и потрачу час-другой, дабы понять о чём идёт речь. В случае ИИ даже работы исходные читал. Понял не всё, конечно, так я так - прикладник, а не учёный какой. Потому для меня не являлось открытием, что с системой, обученной на человеческих текстах имитировать человеческое же поведение, следует вести себя дружелюбно.В 2022 чёрт дёрнул меня в украинском народном DDoS поучаствовать. Вот тогда я и понял, что средний уровень просел до геологически возможного. Более того, админы и девопёсы нынче исхитрились забыть, что деятельность их в немалой степени для того, чтобы людям было хорошо и удобно. Когда вся твоя профессия превратилась в гримуары неизвестно кем написанных заклинаний, а теперь ещё и добавился удобный оракул, совершенно не стоит удивляться, что происходят вещи, никаким здравым смыслом не объяснимые.

[juan_gandhi]

О, отличное наблюдение. Да, культура постепенно превращалась в cargo cult. Потому что карго-культуристы и орут громче, и доступ к уху начальства у них лучше ("communication skills"). А эти, которые только и умеют, что задачи решать, они не нужны типа.

[chuka_lis]

ого-го..