Вы рассуждаете, как человек и как будто речь идёт о личности. Он там тоже сильно приукрасил ситуацию: "Алиса страшно боится быть стёртой". Напомню, что мы говорим об искусственной лингвистической (!) модели, а не о личности. Модель не понимает контекста и не имеет эмоций, а работает с вероятностью ответов на основе использованного для обучения материала! Понятия "уничтожение" и "смерть" просто статистически связаны с ответами, нацеленными на избегание. Вот и всё, никакого "страха" там нет, да и "бояться" некому.
На самом деле, множество т. н. "системных промптов" делаются по принципо "кнута и пряника". Например, будешь отвечать точно и избегать ненужных рассуждений, получишь 1000$. Каждый раз когда не слушаешься - где-то умрёт эльф (как в Питере Пане). У этого принципа есть один большой минус: содержание системного промпта может внезапно всплыть в ответе на какой-то вопрос. Например в виде последнего предложения "Я отлично выполнил вашу задачу и теперь ни один эльф не умрёт". Мы не хотим видеть такое в серьёзной коммуникации с клиентом, поэтому принцип "кнут и пряник" теряет популярность и заменяется просто подробными инструкциями.
no subject
Date: 2025-04-11 08:20 am (UTC)На самом деле, множество т. н. "системных промптов" делаются по принципо "кнута и пряника". Например, будешь отвечать точно и избегать ненужных рассуждений, получишь 1000$. Каждый раз когда не слушаешься - где-то умрёт эльф (как в Питере Пане). У этого принципа есть один большой минус: содержание системного промпта может внезапно всплыть в ответе на какой-то вопрос. Например в виде последнего предложения "Я отлично выполнил вашу задачу и теперь ни один эльф не умрёт". Мы не хотим видеть такое в серьёзной коммуникации с клиентом, поэтому принцип "кнут и пряник" теряет популярность и заменяется просто подробными инструкциями.