В последние годы я активно тестировал LLM на различных устройствах, включая Raspberry Pi 4 и 5. Основной вопрос: возможно ли запустить модель на Pi? Ответ: попробовать можно, но физика здесь сильнее ожиданий. У Raspberry Pi всего 8-16 ГБ памяти, в то время как LLM требуют десятки гигабайт. Тем не менее, опыт показывает, что можно использовать небольшие модели и облачные ресурсы для более сложных задач.
С помощью Ollama, open source решения, можно запустить базовые модели на Raspberry Pi без доступа к интернету. Модели на 2-4B параметров способны отвечать на фактические вопросы и генерировать короткие тексты. Настройка Ollama проста: достаточно установить, загрузить модель и запустить её. Для получения полноценного AI-ассистента можно использовать Docker и Open WebUI.
Важно помнить, что Raspberry Pi не заменит мощные серверы, но отлично подходит для локальных экспериментов с LLM, позволяя создавать собственные AI-решения.