Перейти к содержанию
НОВОЕМаркетплейс и trig8n Agent: продавайте то, что создали, и получайте планы и изменения, проверенные до того, как вы их увидите. Что нового

Библиотека / Код, Git и инструменты разработчика

Код, Git и инструменты разработчика

Поиск скрытых API-эндпоинтов сайта с помощью regex и ИИ

При запуске загружает HTML и JavaScript-файлы сайта, извлекает API-эндпоинты с помощью regex и очищает и упорядочивает их с помощью ИИ-моделей.

Что делает

# 1. API Endpoints Extraction With a Predefined Regex * Paste the URL of the target website into the URL field of the Configuration node. * Fetch the HTML page of the site and extract the URLs of the JS files. * Keep relevant JS files with potential API endpoints (e.g. local, bundled, CDN sources). You can customise the logic to your needs: add or remove URL conditions. * Load JS content from kept URLs: convert references to JS files into properly formatted, complete URLs. * Apply predefined regex to extract API endpoints. * Keep JS files with enough URLs (>4 endpoints). Assume that JS files with fewer URLs do not contain relevant API endpoints. Discard them to send only the necessary data to the LLM. * Clean up the extracted URLs by removing duplicated items.

Шаги

  1. Auto-fixing Output Parser
  2. Start API Discovery
  3. Configuration
  4. Fetch Website HTML
  5. Extract URLs of JS files
  6. Split URLs of JS files
  7. Keep Relevant JS Files
  8. Fetch JS Content
  9. Extract API Endpoints
  10. Check Endpoints Count
  11. Split Endpoints
  12. Remove Duplicates
  13. AI Endpoints Analysis
  14. Add Source Metadata

Всего шагов: 42.

Похожие автоматизации