1. Forum
  2. FidoNet Russia
  3. RU.AI

  • All

    From Nil A@2:5015/46 to Semen Ilinskii on Tue Jun 2 22:52:56 2026
    Hello, Semen!

    Tuesday June 02 2026 22:15, from Semen Ilinskii -> Nil A:

    И премодерацией в публичные эхи.

    ИИшка может делать даже премодерацию, см. перлоскрипт от EG,
    только промпт там подправить.

    И токены оплатить.

    Можно локальные модели крутить, если хоть сколько-нибудь современное железо. Для таких нужд, как обобщение материала, модерация контента, и пр. лингвистические приколы, шибко большой модели, как если бы кодить по-взрослому надо было, не надо.

    Если нет возможности какую-нибудь ламу запустить локально, или нет желания, и пр. то можно оплатить двух-долларовые модели от кятайцев на миллион токенов - это типа ~3МБ ты прогонишь за эти деньги.

    о можно хитро юзать токены БЕСПЛАТО, но с ограничениями. апример, Гугл даёт халяву, довольно много - получить токен через https://aistudio.google.com/api-keys и фигач нихачу!

    Best Regards, Nil
    --- GoldED+/LNX 1.1.5-b20260305
    * Origin: Gemini can make mistakes, so double-check it (2:5015/46)
  • From Oleg Nazaroff@2:50/700.700 to Nil A on Thu Jun 18 00:47:32 2026
    Answering a message from ru.fidonet.today.

    Hello, Nil A.
    On 02.06.2026 22:52 you wrote:

    Можно локальные модели крутить, если хоть сколько-нибудь современное железо. Для таких нужд,
    как обобщение материала, модерация контента, и пр. лингвистические приколы, шибко большой
    модели, как если бы кодить по-взрослому надо было, не надо. Если нет возможности какую-нибудь
    ламу запустить локально, или нет желания, и пр. то можно оплатить двух-долларовые модели от
    кятайцев на миллион токенов - это типа ~3МБ ты прогонишь за эти деньги. о можно хитро юзать
    токены БЕСПЛАТО, но с ограничениями. апример, Гугл даёт халяву, довольно много - получить
    токен через https://aistudio.google.com/api-keys и фигач нихачу!

    Когда ты не в РФ. И не в Индии, как тут надысь выяснилось. И если у тебя акк с подтвержденным пиндосским телефоном. е удивлюсь если они хочут еще ID и кредитку. Про КВ уж я молчу - он даже европейский йим не катит.
    Так шо гугл советую видеть в гробу и в тапках, и уж если сильно надо (зачем - этот вопрос задают после осознания, что gemini на привычные промпты не отвечает и вообще доживает последние часы). В привычной ипостаси. А непривычную - ну ее в пень, я голосую за OpenAI.

    --
    WBR, ON
    ---
    * В фидо через 20 лет нет ни одной знакомой рожи!
    --- ХотДог/2.14.5/Android
    * Origin: Somewhere at Russia, in the hut on chicken legs... (2:50/700.700)
  • From Egor Gavrilov@2:5015/519.1 to Oleg Nazaroff on Sat Jun 20 10:59:39 2026
    Hello, Oleg Nazaroff.
    On 18.06.2026 00:47 you wrote:

    А непривычную - ну ее в пень, я голосую за OpenAI.

    А я голосую за Квена, в квантизированной версии от команды Unsloth (для меня - это 35B-A3B Q4_K_XL).

    Сейчас ещё хочу попробовать Unsloth Studio - там, как я понял, много чего доработали в плане инференса и обучении их же моделей.

    --
    С наилучшими пожеланиями!
    --- ХотДог/2.14.5/Android
    * Origin: oldzoomer.ru | egor.sdf.org (2:5015/519.1)
  • From Oleg Artemjev@2:6078/80.1354 to Egor Gavrilov on Sat Jun 20 20:06:03 2026
    Привет, Egor!

    20 июн 26 10:59, Egor Gavrilov -> Oleg Nazaroff:
    А непривычную - ну ее в пень, я голосую за OpenAI.

    А я голосую за Квена, в квантизированной версии от команды Unsloth
    (для меня - это 35B-A3B Q4_K_XL).

    Сейчас ещё хочу попробовать Unsloth Studio - там, как я понял, много
    чего доработали в плане инференса и обучении их же моделей.
    у раз ты за Квена голосуешь, то рассказывай чем хороша эта нейронка по сравнению с остальными и что за команда Unsloth такая.

    С наилучшими пожеланиями, Oleg.

    --- -Уютно у вас, а только странно. И солнца мало.
    * Origin: А мы народ трудящийся... (2:6078/80.1354)
  • From Nil A@2:5015/46 to Oleg Artemjev on Sat Jun 20 23:50:12 2026
    Hello, Oleg!

    Saturday June 20 2026 20:06, from Oleg Artemjev -> Egor Gavrilov:

    у раз ты за Квена голосуешь, то рассказывай чем хороша эта нейронка
    по сравнению с остальными и что за команда Unsloth такая.

    Я сразу уточню - по сравнению с другими опен-сорцными (раз), и которые можно выполнять локально (два).

    Кто бы что не говорил, но когда хулиарды вливаются в ГПУ/датацентры, и халявные токены для маркетинга - было бы глупо считать, что брендовые топовые модели от OpenAI/Anthropic/Google (Грок я не пробовал) будут уступать опенсорцам. Хотя, линукс - опенсорц, и ВиндовзТ он тогда уделал.

    У себя локально можно крутить только то, что скачал, например с https://huggingface.co. атренировать свою модель - говорят, всего несколько тыс.долларов на AWS аренды и уровня GPT-4, если современными технологиями пользоваться. о всё равно - это всё не то.

    Когда уже "вкусил" как работают топовые брендованые модели, то дауншифтиться ну так себе, но говорят, что GLM-5.2 норм, и главное, стоит сущие копейки https://docs.z.ai/guides/overview/pricing И понятно, дома ты её не запустишь.

    Best Regards, Nil
    --- GoldED+/LNX 1.1.5-b20260305
    * Origin: Gemini can make mistakes, so double-check it (2:5015/46)
  • From Egor Gavrilov@2:5015/519.1 to Oleg Artemjev on Sun Jun 21 08:36:29 2026
    Hello, Oleg Artemjev.
    On 20.06.2026 20:06 you wrote:

    у раз ты за Квена голосуешь, то рассказывай чем хороша эта нейронка по сравнению с остальными
    и что за команда Unsloth такая.

    1) Это одна из лучших **локальных** нейронок

    2) Unsloth - это те ребята, которые делают качественные кванты оптимальной размерности (Q4_K_XL примерно на уровне Q5_K_M/Q6_K благодаря технологии Unsloth Dynamic Quant, и при этом весят лишь незначительно больше)

    --
    С наилучшими пожеланиями!
    --- ХотДог/2.14.5/Android
    * Origin: oldzoomer.ru | egor.sdf.org (2:5015/519.1)
  • From Nil A@2:5015/46 to Egor Gavrilov on Mon Jun 22 19:04:18 2026
    Hello, Egor!

    Sunday June 21 2026 08:36, from Egor Gavrilov -> Oleg Artemjev:

    2) Unsloth - это те ребята, которые делают качественные кванты
    оптимальной размерности (Q4_K_XL примерно на уровне Q5_K_M/Q6_K
    благодаря технологии Unsloth Dynamic Quant, и при этом весят лишь незначительно больше)

    Давай я могу расшифровать для менее посвещённых. Чтобы большие модели запускать дома, где видео-рама не измеряется сотнями гигабайт, придумали урезать точность. Одно дело плавающая-точка под которую несколько байт, типа FP32, FP16, а другое дело когда только несколько бит Q4, т.е. полбайта, ... чуть ли не Q2 можно, но фигня на выходе будет.

    Как можно отсечь точность? Математически просто? А если немного понимать, что и как модель делает, то можно отсечь не просто математически, а чтобы модель при этом не сильно тупела.

    Best Regards, Nil
    --- GoldED+/LNX 1.1.5-b20260305
    * Origin: Gemini can make mistakes, so double-check it (2:5015/46)