Андрей Карпатый, ML-инженер и экс-разработчик OpenAI, презентовал новый проект под названием nanochat. Это инициатива полного цикла, предназначенная для создания LLM (языковых моделей). Обучение модели будет стоить около 100 долларов при аренде облачных мощностей. Nanochat разрабатывался в рамках курса LLM101n от Eureka Labs и включает в себя весь необходимый инструментарий для обучения языковой модели. В его состав входят собственный токенизатор на Rust, система подкачки датасета FineWeb-EDU, а также скрипты для файнтюнинга и сбора метрик. Проект также предлагает встроенный веб-интерфейс для взаимодействия с моделью. Для обучения требуется инстанс с 8 видеокартами Nvidia H100, что позволит завершить процесс примерно за четыре часа. Запуск обучения осуществляется через скрипт speedrun.sh, а для доступа к веб-чату используется команда python -m scripts.chat_web. Основная цель nanochat — создать компактный и эффективный способ обучения языковых моделей, который можно запустить одной командой. Код проекта доступен на GitHub, где можно найти все необходимые материалы и инструкции.