Hello, All!
Локальный инференс манит :-) Особенно, если это можно делать просто на лаптопе. Обычно у всех на слуху llama.cpp, или какая-то морда над ней, в виде ollama, lm studio, и т.д. Вся моделька грузится в оперативу, при этом можно часть слоёв грузить в GPU VRAM, KV cache, а остальное оставить в RAM, что медленно, но всё равно рабочий вариант, например, 30 токенов/с скоростью. Чтобы так хитро запускать, приходится именно llama.cpp использовать, а не однокнопочные ollama. у если у вас заряженный современный мак, где unified memory дофига - тогда всё из-коробки.
Если кто не знал, есть ещё один "хак" проект (llama.cpp тоже вроде как "хак") Colibri от дяди под ником Just Vugg
https://github.com/JustVugg/colibri Что пон позволяет? Запускать фротьерные модели, типа GLM 5.2 (744B) или даже Kimi K3 (2.8T), на говнолаптопе без GPU. Как? Супер медленно ;-) 0.5-1 токен/c. Как это работает? Квантизация + MoE + вся модель сидит на SSD диске, и mmap() в оперативу - медленно, но работает.
апример, GLM-5.2 с 744 миллиардов параметров - это надо серверную стойку с 8ю видеокартами типа H200, примерно 300 тыс.баксов на железо. А тут медленно, но на лаптопе с 32ГБ оперативы и без GPU работает. Сфера применения? Батч какие-то запросы, например, кодревью, или написать код, и пусть работает пару часов, или больше.
Best Regards, Nil
--- GoldED+/LNX 1.1.5-b20260305
* Origin: Gemini can make mistakes, so double-check it (2:5015/46)