![[personal profile]](https://www.dreamwidth.org/img/silk/identity/user.png){kind=small}
mdmxИИ взломал геометрию, которую люди не могли осилить 80 лет.
Почему это изменит нейросети?
Суть прорыва: Модель OpenAI опровергла гипотезу Пола Эрдёша (1946 года) в дискретной геометрии.
Задача: Как расставить $n$ точек на плоскости, чтобы между ними поместилось как можно больше связей одинаковой длины (ровно 1 см)?
Как думали люди: Лучший способ — расставить точки ровными рядами, как на шахматной доске.
Что сделал ИИ: Доказал, что человечество ошибалось. Он нашел принципиально другую, сложную алгебраическую схему, где плотность связей между точками растет лавинообразно быстрее.
Главный шок для ученых: Вместо банального перебора вариантов ИИ объединил геометрию с высшей алгеброй и теорией чисел — связал две далекие друг от друга дисциплины, до чего люди просто не додумались.
Первоисточник: OpenAI: Model disproves discrete geometry conjecture (https://openai.com/index/model-disproves-discrete-geometry-conjecture/)
При чем тут языки и веса моделей?
(Объясняем «на пальцах»)
Внутри нейросети нет букв или слов. Все знания ИИ — это «веса» (многомерное пространство координат, где миллиарды точек-концептов связаны между собой).
Разные языки упакованы в это пространство с разной эффективностью:
Славянские языки (украинский, русский): Из-за сложных окончаний и падежей ИИ дробит одно слово на 3–4 кусочка (токена). Связи между ними рыхлые, на вычисления тратится много памяти.
Китайский язык: Идеальный пример плотности. Один иероглиф — это сразу целый готовый концепт (один токен). Смысловые точки сидят в пространстве весов изначально ближе и плотнее.
На что это повлияет в мире ИИ?
Открытие OpenAI — это не просто абстрактная математика, а готовая инструкция по идеальной упаковке графов связей.
Вот где это выстрелит:
Сверхэффективное сжатие моделей ($Quantization$). Чтобы запустить мощную нейросеть на смартфоне или ПК, ее веса нужно сжать (округлить). Сейчас их округляют до грубой «квадратной сетки», из-за чего ИИ глупеет.
Новый метод позволит упаковывать связи по фрактальной схеме Эрдёша: модель уменьшится в объеме в разы, но сохранит все тонкие ассоциации.
Новая архитектура памяти. Вместо длинных цепочек текста ИИ сможет оперировать сверхплотными кластерами смыслов (особенно в иероглифических средах), где эффективное расстояние между отдаленными понятиями всегда будет равно единице.ИИ как супероппонент.
Прорыв доказал: современные модели способны ломать человеческие догмы в фундаментальной науке. Они видят неочевидные математические паттерны там, где люди 80 лет упирались в невидимый потолок.
--
Пора учить китайский ЕВПОЧЯ
АПД не понравилась мне редактура ИИ и стиль - переделал по своему
Почему это изменит нейросети?
Суть прорыва: Модель OpenAI опровергла гипотезу Пола Эрдёша (1946 года) в дискретной геометрии.
Задача: Как расставить $n$ точек на плоскости, чтобы между ними поместилось как можно больше связей одинаковой длины (ровно 1 см)?
Как думали люди: Лучший способ — расставить точки ровными рядами, как на шахматной доске.
Что сделал ИИ: Доказал, что человечество ошибалось. Он нашел принципиально другую, сложную алгебраическую схему, где плотность связей между точками растет лавинообразно быстрее.
Главный шок для ученых: Вместо банального перебора вариантов ИИ объединил геометрию с высшей алгеброй и теорией чисел — связал две далекие друг от друга дисциплины, до чего люди просто не додумались.
Первоисточник: OpenAI: Model disproves discrete geometry conjecture (https://openai.com/index/model-disproves-discrete-geometry-conjecture/)
При чем тут языки и веса моделей?
(Объясняем «на пальцах»)
Внутри нейросети нет букв или слов. Все знания ИИ — это «веса» (многомерное пространство координат, где миллиарды точек-концептов связаны между собой).
Разные языки упакованы в это пространство с разной эффективностью:
Славянские языки (украинский, русский): Из-за сложных окончаний и падежей ИИ дробит одно слово на 3–4 кусочка (токена). Связи между ними рыхлые, на вычисления тратится много памяти.
Китайский язык: Идеальный пример плотности. Один иероглиф — это сразу целый готовый концепт (один токен). Смысловые точки сидят в пространстве весов изначально ближе и плотнее.
На что это повлияет в мире ИИ?
Открытие OpenAI — это не просто абстрактная математика, а готовая инструкция по идеальной упаковке графов связей.
Вот где это выстрелит:
Сверхэффективное сжатие моделей ($Quantization$). Чтобы запустить мощную нейросеть на смартфоне или ПК, ее веса нужно сжать (округлить). Сейчас их округляют до грубой «квадратной сетки», из-за чего ИИ глупеет.
Новый метод позволит упаковывать связи по фрактальной схеме Эрдёша: модель уменьшится в объеме в разы, но сохранит все тонкие ассоциации.
Новая архитектура памяти. Вместо длинных цепочек текста ИИ сможет оперировать сверхплотными кластерами смыслов (особенно в иероглифических средах), где эффективное расстояние между отдаленными понятиями всегда будет равно единице.ИИ как супероппонент.
Прорыв доказал: современные модели способны ломать человеческие догмы в фундаментальной науке. Они видят неочевидные математические паттерны там, где люди 80 лет упирались в невидимый потолок.
--
Пора учить китайский ЕВПОЧЯ
АПД не понравилась мне редактура ИИ и стиль - переделал по своему
