Библиотека / RAG и базы знаний
RAG и базы знаний
Встраивание файлов FTP в векторную базу Qdrant с OpenAI
При запуске он перечисляет файлы на сервере FTP, разбивает их текст, создаёт эмбеддинги OpenAI и сохраняет их в Qdrant пакетами.
Что делает
### Store in Vector DB Node: Qdrant Vector Store Batch Size: 100 Collection: Sends cleaned text chunks to OpenAI to get embeddings (1536 dim for text-embedding-ada-002) #### collection settings in Qdrant cluster PUT /collections/{collection_name} { "vectors": { "size": 1536, "distance": "Cosine" } } Embed Chunks Node: Embeddings OpenAI Pushes the embedded chunks (with metadata) into Qdrant for semantic retrieval.
Шаги
- Qdrant Vector Store
- When clicking ‘Test workflow’
- Embeddings OpenAI
- Default Data Loader
- Character Text Splitter
- List all the files
- Loop over one item
- Downloading item
Похожие автоматизации
Файлы и облачное хранилищеСкачивание и загрузка файла по FTPШагов: 4RAG и базы знанийЭмбеддинги файлов с FTP в векторной базе QdrantШагов: 10Файлы и облачное хранилищеПеремещение файлов между сервером FTP и HTTPШагов: 5Файлы и облачное хранилищеЧтение и запись файлов Excel из Drive, OneDrive и FTPШагов: 12