Библиотека / Синхронизация данных и ETL
Синхронизация данных и ETL
Синхронизация изменений таблиц на веб-страницах с Google Sheets через Gaffa
По расписанию Gaffa разбирает таблицу на веб-странице и сравнивает её с Google Sheets по ключевому столбцу, добавляя новые строки и обновляя изменённые на месте.
Что делает
## Track web page table changes with Google Sheets and Gaffa Keep a Google Sheet in step with a table on any web page and see what changed. ### Who's it for Anyone watching a table they don't control: release schedules, vendor sub-processor lists, price lists, shortage lists, rankings. ### How it works - Gaffa loads the page in a real browser and its parse_table action turns the table into rows, with the headers as column names. - The workflow reads your sheet and compares both on a key column with the Compare Datasets node. - New rows are added, changed rows are updated in place and rows gone from the page get a removed date. - Every change lands in a Changes tab with the date, the key, the type and the old and new values. - If the table cannot be read, the run stops with an error instead of marking every row as removed. ### Setup 1. Install the Gaffa community node. 2. Create an API key at gaffa.dev and add it as the Gaffa API credential. 3. Connect Google Sheets and create a spreadsheet with two empty tabs, Table and Changes. 4. In the Settings node, set the page URL, the CSS selector of the table, a key column that is unique per row and the spreadsheet URL. 5. Run it once to fill the sheet, then publish the workflow. ### Requirements - A Gaffa API key - A Google Sheets credential ### Customization tips - Gaffa lowercases headers and turns anything other than letters and numbers into underscores, so Ticket Price (£) becomes ticket_price_. Use that name as the key column. - Change the time in the Every morning node. - Send the new Changes rows by email or Slack after the Write to the change log node.
Шаги
- Every morning
- Settings
- Read the table
- Table read?
- Fetch the rows
- Only rows with a key
- Rows found?
- Stop with an error
- Read the sheet
- Only rows still listed
- Compare with the sheet
- Mark as new
- Add the new rows
- Mark as changed
Всего шагов: 21.
Похожие автоматизации
Документы, PDF и OCRАрхивирование изменённых веб-страниц в виде PDF с датами в Google Drive с помощью Gaffa и SheetsШагов: 14Веб-скрейпинг и исследованияОтслеживайте вакансии компаний с их страниц карьеры в Airtable с помощью GaffaШагов: 15Синхронизация данных и ETLПериодическое копирование данных Google Sheets в другие таблицыШагов: 4Синхронизация данных и ETLДублирование основных листов Google Sheets для нескольких целейШагов: 9