В ★5УГЛОВ мы активно работаем с языковыми моделями, как облачными, так и локальными. В то время как онлайн-сервисы известны всем, локальные LLM остаются недооцененными. Я хотел бы поделиться своим опытом: какие модели можно запустить на ПК, их полезность и причины применения в реальных проектах. Большие языковые модели уже перестали быть громоздкими и требовать значительных вычислительных ресурсов. Многие из них можно скачать и использовать без подключения к интернету. Особенно популярны «дистиллированные» модели — компактные версии нейросетей. Они требуют меньше ресурсов и могут работать на обычных ПК. Локальные модели значительно улучшились: стали быстрее и качественнее. Хотя облачные нейросети все еще превосходят локальные, у последних есть свои преимущества: конфиденциальность, доступность и бесплатный API. Локальные инструменты могут быть полезны в различных областях: от автоматизации анализа резюме до создания контента. Мы протестируем эти модели, чтобы сравнить их скорость и качество ответов на разные запросы.