Ведущие компании в сфере искусственного интеллекта — OpenAI, Google, Anthropic — последние годы увеличивают вычислительную мощность языковых моделей в попытке снизить ошибки и галлюцинации. Однако этот путь лишь улучшил поверхностное качество ответов, в то время как глубокие структурные ошибки, остающиеся незамеченными, только возросли.
Новые языковые модели звучат более убедительно, но по сути не стали умнее: они лишь научились создавать более сложные и изощренные галлюцинации. Например, одна из последних моделей OpenAI демонстрирует до 50% выдуманных ответов на собственном тесте SimpleQA. Это свидетельствует о том, что связь речи — лишь маска, скрывающая ошибки.
Основная проблема в том, что традиционные языковые модели работают в «плоском» параметрическом пространстве и не обновляют свои знания в режиме реального времени. Они заморожены после обучения и не способны адаптироваться к изменениям реального мира, что критично для задач с динамично меняющимися данными, например, в финансах, медицине или автономных системах.
В качестве решения появилось новое направление, основанное на байесовском подходе и информационно-теоретической геометрии — метрике Фишера. Эта методика учитывает искривленность параметрического пространства, позволяя моделям непрерывно обновлять свои знания и более точно отражать неопределённость.
Компании вроде VERSES AI, causalLens, Symbolica AI и Layer 6 AI уже внедряют эти концепции, создавая ИИ-системы, которые учатся в реальном времени, строят причинные связи и обеспечивают структурную целостность знаний. Microsoft с его платформой Infer.NET также обладает потенциалом масштабного внедрения таких решений.
Таким образом, эпоха традиционных языковых моделей, основанных на масштабировании и статичности, подходит к концу. Будущее за ИИ, способным адаптироваться и развиваться в процессе работы, опираясь на более глубокие математические принципы.