Библиотека / Код, Git и инструменты разработчика
Код, Git и инструменты разработчика
Бенчмарк локальных LLM в LM Studio с записью в Sheets
При поступлении сообщения чата каждая модель LM Studio запускается на промпте, измеряются время ответа и метрики, а результаты сохраняются в Google Sheets.
Что делает
## 3. 💡Update the LM Settings From here, you can modify the following parameters to fine-tune model behavior: - Temperature: Controls randomness. Higher values (e.g., 1.0) produce more diverse results, while lower values (e.g., 0.2) make responses more focused and deterministic. - Top P: Adjusts nucleus sampling, where the model considers only a subset of probable tokens. A lower value (e.g., 0.5) narrows the response range. - Presence Penalty: Penalizes new tokens based on their presence in the input, encouraging the model to generate more varied responses.
Шаги
- Get Models
- When chat message received
- Get timeDifference
- Run Model with Dunamic Inputs
- Analyze LLM Response Metrics
- Save Results to Google Sheets
- Capture End Time
- Capture Start Time
- Prepare Data for Analysis
- Extract Model IDsto Run Separately
- Add System Prompt
- LLM Response Analysis
Похожие автоматизации
Код, Git и инструменты разработчикаСравнение локальных LLM в LM Studio и запись результатовШагов: 12Код, Git и инструменты разработчикаСравнение локальных моделей LM Studio и запись результатовШагов: 25Код, Git и инструменты разработчикаСравнение локальных моделей LM Studio и запись результатовШагов: 25Синхронизация данных и ETLTesting Mulitple Local LLM with LM StudioШагов: 13