Zum Inhalt springen
NEUMarktplatz und trig8n Agent: Verkaufen Sie, was Sie bauen, und erhalten Sie Pläne und Änderungen, die getestet sind, bevor Sie sie sehen. Neuigkeiten ansehen

Bibliothek / Web Scraping & Recherche

Web Scraping & Recherche

Seiten mit einem Gemini-Vision-Agenten und ScrapingBee scrapen

Beim Start oder Aufruf durch einen anderen Workflow liest es URLs aus Google Sheets, ruft Seiten mit ScrapingBee ab und extrahiert Daten mit einem Gemini-Vision-Agenten.

Was sie bewirkt

## Vision-Based Scraping AI Agent This is the central node of the workflow, powered by an AI Agent with two key prompts: - System Prompt: Instructs the AI on how and what data to extract from the screenshot. You can customize this to suit your needs. It also includes fallback instructions to call a tool for retrieving the HTML page if data extraction from the screenshot fails. - User Message: Provides the page URL for context. ### Sub-Nodes 1. Google Gemini Chat Model Chosen because tests show that Gemini-1.5-Pro outperforms GPT-4 and GPT-4-Vision in visual tasks. *Either my prompt wasn’t optimized for GPT models, or GPT might need glasses 👓*. Other multimodal LLMs haven’t been tested yet. 2. HTML-Based Scraping Tool A fallback tool the agent uses if it cannot extract data directly from the screenshot. 3. Structured Output Parser Formats the extracted data into an easy-to-use structure, ready to be added to the results page in Google Sheets.

Die Schritte

  1. When clicking ‘Test workflow’
  2. ScrapingBee- Get page HTML
  3. Structured Output Parser
  4. Google Gemini Chat Model
  5. Split Out
  6. Google Sheets - Get list of URLs
  7. Set fields
  8. ScrapingBee - Get page screenshot
  9. HTML-based Scraping Tool
  10. Google Sheets - Create Rows
  11. Vision-based Scraping Agent
  12. HTML-Scraping Tool
  13. Set fields - from AI agent query
  14. HTML to Markdown

Ähnliche Automatisierungen