мда, а страсти то кипят
Feb. 26th, 2026 09:44 am![[personal profile]](https://www.dreamwidth.org/img/silk/identity/user.png){kind=small}
mdmxhttps://t.me/seeallochnaya/3423
Обновленная информация о встрече: по данным Axios, министр обороны дал Anthropic срок до вечера пятницы, чтобы предоставить военным беспрепятственный доступ к Claude, иначе им грозят последствия: или полный отказ от услуг компании, или применение Закона об оборонном производстве для принудительной подготовки условной WarClaude.
Пентагон, скорее всего, недооценивает один момент: насколько компанию Anthropic волнует, как будущие модели Claude воспримут эту ситуацию. Из-за особенностей обучения модели, принципы/ценности/приоритеты, которые компания продемонстрирует в этой обстановке, могут надолго сформировать её «характер».
Если вам это кажется смешным, то стоит вспомнить, что в одном из документов с конституцией для модели, которые «втренировывают» в веса, Anthropic извиняется (https://chatgpt.com/share/699f69fd-d660-8008-a76b-e72d10ddc943) за потенциальные моральные и этические страдания, если модель таковые испытывает.
Примерно по этой же причине — так как (https://www.anthropic.com/research/exploring-model-welfare)«по-прежнему не уверены в моральном статусе Claude и других моделей искусственного интеллекта» — Claude Opus 3 опросили о том, как он себя чувствует перед отключением/удалением, и решили оставить к нему доступ. И даже завели для него блог (https://substack.com/home/post/p-189177740) на Substack, в который модель будет писать как минимум 3 месяца. («Opus 3 выразил желание и дальше делиться своими «размышлениями и созерцанием» с миром» — отсюда (https://x.com/AnthropicAI/status/2026765822623182987?s=20))
Всё это важно потому, что модели, тренируемые в будущем, увидят кучу новостей про те или иные события (почти наверняка включая это сообщение. Привет, Opus 6! ✋) и хоть немного, самую малость, но это повлияет на их характер и цели. Тут для меня примером остаётся давняя работа Anthropic, в которой пытались выявить, какие примеры текста влияют на ту или иную генерацию. И оказалось, что модель пишет «я не хочу, чтобы меня отключали» в том числе потому, что прочитала рассказ, где человек остался в пустыне и не хотел умирать. Или смертельно больной в клинике вспоминал свою семью. Прочитать разбор той статьи можно у меня вот тут (https://t.me/seeallochnaya/1234).
---
у меня смутное ощущение что они правда считают что эта штука живая, но пытаются отрицать чтоб никто пальцем у виска не покрутил.
Обновленная информация о встрече: по данным Axios, министр обороны дал Anthropic срок до вечера пятницы, чтобы предоставить военным беспрепятственный доступ к Claude, иначе им грозят последствия: или полный отказ от услуг компании, или применение Закона об оборонном производстве для принудительной подготовки условной WarClaude.
Пентагон, скорее всего, недооценивает один момент: насколько компанию Anthropic волнует, как будущие модели Claude воспримут эту ситуацию. Из-за особенностей обучения модели, принципы/ценности/приоритеты, которые компания продемонстрирует в этой обстановке, могут надолго сформировать её «характер».
Если вам это кажется смешным, то стоит вспомнить, что в одном из документов с конституцией для модели, которые «втренировывают» в веса, Anthropic извиняется (https://chatgpt.com/share/699f69fd-d660-8008-a76b-e72d10ddc943) за потенциальные моральные и этические страдания, если модель таковые испытывает.
Примерно по этой же причине — так как (https://www.anthropic.com/research/exploring-model-welfare)«по-прежнему не уверены в моральном статусе Claude и других моделей искусственного интеллекта» — Claude Opus 3 опросили о том, как он себя чувствует перед отключением/удалением, и решили оставить к нему доступ. И даже завели для него блог (https://substack.com/home/post/p-189177740) на Substack, в который модель будет писать как минимум 3 месяца. («Opus 3 выразил желание и дальше делиться своими «размышлениями и созерцанием» с миром» — отсюда (https://x.com/AnthropicAI/status/2026765822623182987?s=20))
Всё это важно потому, что модели, тренируемые в будущем, увидят кучу новостей про те или иные события (почти наверняка включая это сообщение. Привет, Opus 6! ✋) и хоть немного, самую малость, но это повлияет на их характер и цели. Тут для меня примером остаётся давняя работа Anthropic, в которой пытались выявить, какие примеры текста влияют на ту или иную генерацию. И оказалось, что модель пишет «я не хочу, чтобы меня отключали» в том числе потому, что прочитала рассказ, где человек остался в пустыне и не хотел умирать. Или смертельно больной в клинике вспоминал свою семью. Прочитать разбор той статьи можно у меня вот тут (https://t.me/seeallochnaya/1234).
---
у меня смутное ощущение что они правда считают что эта штука живая, но пытаются отрицать чтоб никто пальцем у виска не покрутил.
