Bibliothek / Code, Git & Entwicklertools
Code, Git & Entwicklertools
Lokale LLMs in LM Studio benchmarken und in Sheets protokollieren
Trifft eine Chatnachricht ein, wird jedes LM-Studio-Modell mit dem Prompt ausgeführt, Antwortzeit und Metriken werden gemessen, und die Ergebnisse werden in Google Sheets gespeichert.
Was sie bewirkt
## 3. 💡Update the LM Settings From here, you can modify the following parameters to fine-tune model behavior: - Temperature: Controls randomness. Higher values (e.g., 1.0) produce more diverse results, while lower values (e.g., 0.2) make responses more focused and deterministic. - Top P: Adjusts nucleus sampling, where the model considers only a subset of probable tokens. A lower value (e.g., 0.5) narrows the response range. - Presence Penalty: Penalizes new tokens based on their presence in the input, encouraging the model to generate more varied responses.
Die Schritte
- Get Models
- When chat message received
- Get timeDifference
- Run Model with Dunamic Inputs
- Analyze LLM Response Metrics
- Save Results to Google Sheets
- Capture End Time
- Capture Start Time
- Prepare Data for Analysis
- Extract Model IDsto Run Separately
- Add System Prompt
- LLM Response Analysis
Ähnliche Automatisierungen
Code, Git & EntwicklertoolsLokale LLMs in LM Studio vergleichen und Ergebnisse protokollieren12 SchritteCode, Git & EntwicklertoolsLokale LM-Studio-Modelle vergleichen und Ergebnisse protokollieren25 SchritteCode, Git & EntwicklertoolsLokale LM-Studio-Modelle vergleichen und Ergebnisse protokollieren25 SchritteTexterstellung & Content-Generierungllms.txt-Dateien aus Screaming-Frog-Daten mit OpenAI generieren12 Schritte