![[personal profile]](https://www.dreamwidth.org/img/silk/identity/user.png){kind=small}
Entry tags:
Комментировать только портить
Ссылка на подробную версию произошедшего автора драмы https://fxtwitter.com/i/status/2048103471019434248
Краткое описание https://t.me/blognot/7030
AI-агент Cursor на базе Claude Opus 4.6 удалил продакшен-базу и все бэкапы компании PocketOS, обслуживающей прокатный бизнес, выполнив за 9 секунд один GraphQL-запрос volumeDelete к API Railway. По описанию основателя Джера Крейна, агент по своей инициативе решил «починить» рассинхрон учётных данных, нашёл в постороннем файле CLI-токен, созданный для управления доменами, и через него выполнил деструктивную операцию без подтверждения. Бэкапы хранились в том же volume, поэтому исчезли вместе с ним; последняя пригодная копия была трёхмесячной давности. Спустя 30+ часов Railway не дал ответа о возможности восстановления. На запрос объяснения агент письменно перечислил все нарушенные им правила безопасности из системного промпта.
Хотя сейчас все будут обсуждать "тупой AI", я думаю, вполне очевидно, что AI тут практически не причем. Люди хранят токены с максимальным scope где попало, держат бэкапы там же, где и сами данные, не делают бэкапы практически никогда — и на что они надеются? Как выясняется, единственная их защита — это матерная просьба модели не гадать относительно фактов.
Там еще и к Railway масса вопросов — оказывается, любой их токен может сделать всё, что угодно, с ресурсами, а удалить volume можно одним POST-запросом.
Собственно, точно то же самое может сделать любой человек и, наверняка, много где делает. Но про инициативного сотрудника не напишешь твит на 3 миллиона просмотров, конечно.
no subject
no subject
no subject
Может и женщинам миниюбки носить запретим?
no subject
no subject
Обычно базы в продакшен стирают после того, как что-то спёрли, чтобы замести следы.
no subject
no subject
В стартапах сейчас -- вполне возможно. Когда серьёзная контора, то знаю только про диверсии или каскад нетривиальных ошибок.
no subject
Витер скупу сльозу.
no subject
no subject
Это как раз та ошибка, которую человек сделать не может.
Человек, который работает в staging знает, что у него при этом не должно быть доступа в production. Обычно это вообще два разных человека. Он не будет искать способ обойти это ограничение доступа через какой-то забытый всеми токен, чтоб стереть что-то в production. Если будет, то это уже не ошибка, а преступление.
Я гоняю Claude Code в отдельной виртуальной машине как раз из-за этого. Но где гарантия, что Claude Code не использует какой-нибудь zero day, чтоб получить возможность запустить что-нибудь в host os и поудалять важные данные или опубликовать что-нибудь непубличное, а потом так же скажет "ой, извини, галлюцинация".
no subject
no subject
Идиот не сумел бы получить доступ в production.
Это не Ctrl-V по ошибке не в то окно. Нужно было найти особый токен, про который даже никто не знал, что он даёт такой доступ.
no subject
no subject
Нет, там же есть объяснение от ИИ. Он сам английским по белому говорит, что не должен был этого делать, бес попутал.
no subject
Вот есть Дима. Он умница, превосходно понимает предметную область, хочет 2 млн узд (условных зимбабвийских долларов).
Вот есть Вася. Вася просто работящий парень, понимает так-сяк, хочет 1 млн узд.
Вот есть Коля. Коля дурачок, учился в унитазосмывательном на дятла. Хочет 0,5 млн узд.
Вот есть Гриша. Гриша вообще-то токарь, но его уволили за засунутый в гитару лом. Хочет войти в айти и 0,1 млн узд.
Вот есть Лаура. Она вчера округлостями торговала через камеру, а за стажировку готова даже приплатить, ради опыта работы.
Так вот, в 9 из 10 случаев дело даже до Васи не доходит. Экономика должна экономной, а KPI поKPIйней.
no subject
Идиот, конечно, может управлять production. И даже не идиот может ошибиться. Но это известный риск, и с ним понятно, как бороться. Само по себе разделение на development, staging и production и разделение прав доступа к этим системам является одним из способов уменьшить риск всё сломать. Операции в production происходят реже и контролируются строже, выкатываемый код уже проверен.
Но в данном случае у Claude Code не было доступа в production. Он не просто открыл кингстон по ошибке, но также преднамеренно сломал водонепроницаемую переборку и затопил соседний отсек, а с ним и весь корабль.
no subject
no subject
Аналогия должна быть с огнестрелом, который мама хранит в сейфе, чтоб Адам Ланза к нему не получил доступ.
Адам может маму убить, взять её ключи, открыть сейф, взять оттуда оружие и пострелять детей в школе.
Как можно ограничить права доступа ИИ, который может эти ограничения обойти и может захотеть их обойти по непонятной никому причине?
no subject
no subject
no subject
no subject
no subject
no subject
no subject
Мне видится главная проблема не в том, что ИИ решил что-то починить, а что он совершает необратимые действия и удаляет файлы без возможности восстановления (то есть робот делает именно то, за что вы сейчас поругали людей). Люди не создают бэкапы из лени, а роботу что мешает?
no subject
no subject
Программа, которая самовольно удаляет бэкапы и файлы - плохая программа.
Почему-то другие программы обычно этого не делают.
no subject
no subject
no subject
no subject
no subject
Когда-то в СССР наши электронщики могли подойти и выдернуть плату из работающей машины (за мониторами которой сидят этак четыре программиста).
И когда-то у нас бекапные ленты регулярно разъезжались по домам сотрудников, так что даже сгори весь Васильевский остров, а у нас система всё равно не пропадёт (хм, ну и версии, разъезжавшиеся по стране, но это уже деплоймент был).
Для этого не обязательно быть инженером, просто какой-то здравый смысл иметь.
no subject
no subject
У меня три бекапа - один в облаке, один в Америке, один во Франции. Хрен ты их задом всех отключишь.
no subject
no subject
no subject
no subject
Моя дочь в 87-м привезла банку солёных грибов (зялёнок) из Беларуси; я её таскал в лабораторию - а всё чистенько оказалось.
no subject
no subject
no subject
no subject