Запуск больших языковых моделей локально часто требует значительных финансовых вложений. Я наткнулся на предложение о продаже системы Grace-Hopper за 10 000 евро и решил рискнуть. Эта система, состоящая из двух суперчипов Nvidia с GPU, обещала отличные характеристики по сравнению с моими старыми RTX 4090. Приобретение вдохновило меня на модификации: я заменил жидкостное охлаждение на воздушное, а затем вернулся к водяному. После нескольких неудач, включая проблемы с температурой, я смог запустить систему без критических ошибок. В итоге, я собрал мощный настольный ПК, способный обрабатывать модели с 235 миллиардами параметров, вложив менее 9 000 евро. Эта история о том, как я справился с вызовами и смог создать высокопроизводительную рабочую станцию для ИИ.