По мнению экспертов, современные ИИ-ускорители достигли стадии, когда пропускная способность интерфейса памяти стала узким местом для увеличения быстродействия. Дефицит объема памяти отошел на второй план, и устранение этого барьера зависит от разработчиков GPU и языковых моделей. Как отметил Ша Рабии из Majestic Labs, в последние годы ускорители значительно улучшили свои характеристики, тогда как память не успела за этим ростом. Переход к инференсу увеличит потребность в памяти, следовательно, спрос на нее будет стремительно расти. Дженсен Хуанг из Nvidia также говорил о необходимости расширения объемов производства памяти. Даже переход на HBM4 не решит проблему пропускной способности из-за ограничений в количестве каналов и ширине интерфейса. Альтернативные методы, такие как PIM и UCIe, могут помочь улучшить ситуацию. HBM4 обеспечит прирост производительности, однако внедрение CXL также повысит эффективность обмена данными и снизит энергопотребление. Новые трехмерные методы компоновки памяти могут дополнительно улучшить производительность.