* Originally in nino.046.local
* Crossposted in ru.ai
Hello, Andrei!
Thursday April 23 2026 17:24, from Andrei Ivanov -> Nil A:
Для базовых и примитивных задач можно на локальном лаптопе
крутить qwen 3.5 какой-нибудь.
Лаптоп должен быть с хорошей видюхой с большим объемом VRAM. У меня игровой с RTX 3050 4 GB
ичего не запустишь на таком.
Он ответил что лучше на компе - гигабайты важнее отсутствия
тензорных ядер.
ИИ работает не как видеокодеки. апример, надо зажать h.264 / mpeg4 видео, и на любой видюхе это будет в x10 раз быстрее, чем на ЦПУ. VRAM нужно много, если большое разрешение, сложные шумодав-обработки и пр. надо делать.
Для задач ИИ, нужно перемножать матрицы, что делать на ЦПУ не сильно медленнее, потому что всё упирается в скорость обращение к раме. Рама супер медленная, по сравнению с тем, что может делать с данными проц. ЦПУ хорошо работает в задачах, когда L1/L2/L3 кэш задействованы, т.е. затащил из рамы какие-то данные и числогрызишь. Для нужд ИИ надо каждый токен прогонять через все веса, которых миллиарды, т.е. много гигабайт. Есть модели, где только какое-то ограниченное количество активно, но сути не меняет. В таком режиме никакие кэши не работают, и надо всё тащить из рамы, что супер медленно. Супер современные видюхи тут помогают, потому что в них стоит супер быстрая память VRAM, доступ к которой быстрее, чем когда проц лезет в обычную раму. В Маках на АРМе вся память одним куском, и проц и видюха её видят, что удобно, не надо копировать туда/сюда, и она быстрая.
Best Regards, Nil
--- GoldED+/LNX 1.1.5-b20260305
* Origin: Gemini can make mistakes, so double-check it (2:5015/46)