В течение прошлого года считалось, что классическое обучение ИИ, которое дало нам ChatGPT, окончательно утратило свою значимость. Однако, ситуация изменилась. Ведущие исследовательские лаборатории, включая OpenAI, осознали, что предварительное обучение не только не исчезло, но и готовится к новому расцвету в 2026 году. Существует два основных подхода к улучшению моделей: увеличение их размера и увеличение времени на размышления. Современные трансформеры, являющиеся основой большинства языковых моделей, используют слои внимания и долгосрочной памяти для обработки информации. Проблема с масштабированием заключается в том, что одного увеличения данных недостаточно. Новая парадигма обучения включает в себя более глубокую проработку задач, что значительно улучшает результаты. OpenAI, по словам своего исследователя Марка Чена, осознала необходимость вернуться к предварительному обучению, что открывает новые возможности для развития ИИ.