Скрипт на питоне + LLM
1. Берём любую модель с хагингфейса.
2. Берём rpc консьюмера реббитмк
3. Делаем многопоток (к примеру 3 консьюмера)
4. Каждый поток взаимодействует с отдельным процессом llm
5. Как итог запросы с ребита обрабатываются независимо друг от друга и параллельно, загружая всего один экземпляр llm
2. Берём rpc консьюмера реббитмк
3. Делаем многопоток (к примеру 3 консьюмера)
4. Каждый поток взаимодействует с отдельным процессом llm
5. Как итог запросы с ребита обрабатываются независимо друг от друга и параллельно, загружая всего один экземпляр llm
Предложения фрилансеров (0)
Предложений нет
Оставлять свои предложения по проекту могут только зарегистрированные пользователи с аккаунтом специалиста.
Зарегистрируйтесь или войдите на сайт под своим именем.
Зарегистрируйтесь или войдите на сайт под своим именем.
