Hello, Sergey!
Monday August 17 2026 06:44, from Sergey Kaluzhskiy -> Nil A:
Слово локалка приобрело новый смысл. Все массово стали "работать
с локалками". Это значит, что запускают LLM модели локально на
компьютере, а не в облаке за деньги.
У всех прямо появились кластеры GPU?
е сильно большие модельки, квантованные до 4 бит, например, при этом часто не плотные модели (dense), а MoE, где не все параметры всегда активны.
Если есть макбук про на M-чипе, да ещё памяти 24ГБ, то много хороших моделей может влезать, и там память унифицированная, т.е. и для проца, и для видюхи, и не надо туда-сюда копировать.
а лаптопах с маздайкой локалки запускают - сколько-то слоёв в видеопамять грузят, остальное в раму, и довольно шустро работает.
а лаптопах без видюхи дискретной тоже запускают, но просто инференс очень медленный, по несколько токенов в секунду всего.
Best Regards, Nil
--- GoldED+/LNX 1.1.5-b20260305
* Origin: Gemini can make mistakes, so double-check it (2:5015/46)