@MSGID: 2:5015/46 69ea4731
@REPLY: 2:6078/80.90 69ea399f
@CHRS: CP866 2
@TZUTC: 0300
@TID: hpt/lnx 1.9
* Originally in nino.046.local
* Crossposted in ru.ai
Hello, Andrei!

Thursday April 23 2026 17:24, from Andrei Ivanov -> Nil A:

 NA>> Для базовых и примитивных задач можно на локальном лаптопе
 NA>> крутить qwen 3.5 какой-нибудь.

 AI> Лаптоп должен быть с хорошей видюхой с большим объемом VRAM. У меня
 AI> игровой с RTX 3050 4 GB

Ничего не запустишь на таком.

 AI> Он ответил что лучше на компе - гигабайты важнее отсутствия
 AI> тензорных ядер.

 ИИ работает не как видеокодеки. Например, надо зажать h.264 / mpeg4
видео, и на любой видюхе это будет в x10 раз быстрее, чем на ЦПУ. VRAM
нужно много, если большое разрешение, сложные шумодав-обработки и пр. надо
делать.

 Для задач ИИ, нужно перемножать матрицы, что делать на ЦПУ не
сильно медленнее, потому что всё упирается в скорость обращение к раме.
Рама супер медленная, по сравнению с тем, что может делать с данными
проц. ЦПУ хорошо работает в задачах, когда L1/L2/L3 кэш задействованы, т.е.
затащил из рамы какие-то данные и числогрызишь. Для нужд ИИ надо каждый
токен прогонять через все веса, которых миллиарды, т.е. много гигабайт.
Есть модели, где только какое-то ограниченное количество активно, но сути
не меняет. В таком режиме никакие кэши не работают, и надо всё тащить
из рамы, что супер медленно. Супер современные видюхи тут помогают,
потому что в них стоит супер быстрая память VRAM, доступ к которой
быстрее, чем когда проц лезет в обычную раму. В Маках на АРМе вся память
одним куском, и проц и видюха её видят, что удобно, не надо копировать
туда/сюда, и она быстрая.

Best Regards, Nil
--- GoldED+/LNX 1.1.5-b20260305
 * Origin: Gemini can make mistakes, so double-check it (2:5015/46)
SEEN-BY: 50/701 452/28 460/58 463/68 4500/1
5001/100 5010/352 5015/42 46 120
SEEN-BY: 5015/255 519 5020/570 715 830 848 1042
4441 12000 5023/24 5030/49
SEEN-BY: 5030/115 722 1081 5031/71 5053/55 58 400
5080/102 6035/66 6078/80
@PATH: 5015/46 5020/4441