@MSGID: 2:5015/46 68796de4
@REPLY: 2:5001/100.1 687966db
@CHRS: CP866 2
@TZUTC: 0300
@TID: hpt/lnx 1.9
Hello, Dmitry!

Thursday July 17 2025 23:59, from Dmitry Protasoff -> Nil A:

 DP>>> https://openrouter.ai/
 NA>> Что это, облачный GPU для любой публичной модели,
 DP> Hе, эти люди оптом закупают доступ к API всех публичных AI провайдеров
 DP> и дальше перепродают в розницу.

Понял.

 DP> Так что я сначала подготовил инфраструктуру (допиливаю jNode),
 DP> протестировал постинг через его базу (допиливаю редактор gossiped),

 gossipEd - это как голдед выглядит, и работает с Jam/Squish/Msg
базами по-фидошному. Ты к нему прикрутил делать запросы к SQL?

 Проще было бы тогда взять Golden Point 1.x
(https://github.com/vit1251/golden) тоже на Гоу, только он свои базы хранит как ра в SQL, возможно
схема чем-то похода с JNode.

 Воооот. Ещё раз. Все такие, заебись хранить мессаги в сиквеле -
супер универсально, не то что ваши Джамы со Сквишом. А вы все
договорились об единой схеме SQL как хранить FTN сообщения? Тогда бы Golden
автоматом читал бы базы JNode, так?

DP> гоняю запросы в API для проверки, как Либер (я так назвал модератора,
DP> потом объясню почему) будет реагировать на посты.

 Ты ему отдельного пойнта дашь, чтобы он читать что на него попадёт,
или просто как с ноды будешь запускать?

 DP> Перед этим посмотрел на все реализации подобных AI-модераторов на
 DP> github.

Для каких-нибудь елеграм-аналов?

 DP> Что-то да получится. А не получится - так хоть расширил кругозор.

 Естессно, для этого мы тут всё в федо и затеваем. Чтобы
поэкспериментировать, руку набить, какие-нибудь ништяковые технологии попробовать прикрутить.


 Во, скажи мне друг, ты знаком с векторными БД? Можно охрененного
бота сделать для фидо, Моско на его фоне просто скрипт копи-паста постов
из интернета.
 Я знаю (в теории) как на OpenAI сделать. Делаем имбеддинг -
прогоняем все сообщения через какую-нибудь дешёвую модель text-embedding-3-small,
она выдаёт вектора, которые мы кладём с нашу локальную векторную базу
(FAISS, Weaviate,..).
 Далее, когда у бота спрашивают: "когда будет следующая сисопка", то
мы также гоним через text-embedding-3-small, и поиском по локальной базе
находим 5-10 релевантных сообщения. Далее, закидываем нормальной модели, типа
4o, сообщение на которое надо ответить, контекст эти 5-10 найденных
сообщений, и указание как стоит и в каком стиле отвечать.
 Идея в том, что имбеддинг выходит сильно дешевле файн-тьюнинга
модели, т.е. тогда бы пришлось готовить тренировочные данные, платить за
обучение, и так каждый раз при перестройки это нашлёпки, и при этом не факт,
что оно уловит как надо контекст.
 Просто если просить "стоковую" модель отвечать на фидошные эхи/письма,
то это будет Чатов-задротов, у которого особо нет контекста, а также
стиля. Кстати, файн-тьюнингом таки можно научить именно фидошному стилю, и
как раз это можно сделать однажды, на какой-нибудь приличной выборке.

Best Regards, Nil
--- GoldED+/LNX 1.1.5-b20240306
 * Origin: ChatGPT can make mistakes. Check important info. (2:5015/46)
SEEN-BY: 460/58 5001/100 5015/42 46 120 255 519
5019/40 5020/570 715 848 1042
SEEN-BY: 5020/4441 12000 5023/24 5030/49 722 1081
5053/55 58 5054/8 5058/104
SEEN-BY: 6078/80
@PATH: 5015/46 5020/4441