INGEST by Simplitics – v2 Versionsnoteringar

Version: 25.10 Utgivningsdatum: 1 december 2025

Denna version medför betydande framsteg inom ingestionsprestanda, skalbarhet och molninteroperabilitet. Den introducerar fullständig DuckDB-driven Change Data Capture, nya streaming download-funktioner över alla större lagringsplattformar och utökad importer/exporter-täckning inklusive API, ADLS Gen1/Gen2 och förbättrade filsystemoperationer. Betydande förbättringar inom workload-hantering, S3-partitionshantering och JSON-serialisering stärker ytterligare ingestionstillförlitlighet. Parad med omfattande optimeringar i minnesanvändning, chunking, komprimering och molneventhantering levererar denna uppdatering en märkbart mer effektiv och motståndskraftig ingestionspipeline för storskalig, multi-moln databehandling.

Ingestionmotor

🚀 Funktioner

• Lade till fullständiga Change Data Capture (CDC)-funktioner med DuckDB, inklusive effektiv diffing, jämförelse och filbaserade CDC-arbetsflöden.
• Introducerade streaming download-stöd för SFTP-, ADLS- och S3-exporters, möjliggör låg-minnes stora-fil-ingestion.
• Implementerade en ny apiExporter med fullständigt OAuth 2.0-, bearer token-, basic auth- och certifikatautentiseringsstöd.
• Lade till Azure Data Lake Gen1 & Gen2-importers, plus flera förbättringar av ADLS-uppladdning med block-blob-staging för tillförlitlighet.
• Introducerade en dedikerad fileSystemExporter med filbläddring, tidsstämpel-/filnamnsfiltrering, multi-sökvägs binär export och komprimeringsstöd.
• Lade till stöd för komprimerade mellanfiler, förbättrad gzip-hantering och optimerad komprimeringsprestanda.
• Aktiverade partition-medveten S3-bläddring, inklusive dynamisk partitionsupptäckt och förbättrad tidsintervallsökning.
• Implementerade start_workload och workload-slutförandehantering för mer robust workload-hantering.
• Lade till 5GB output-filsstöd, justerade exportbeteende med stora dataset-krav.
• Integrerade orjson för snabb JSON-serialisering i exporters.
• Lade till BlobCreationTrigger och andra molnevent-förbättringar för att förbättra integrationstillförlitlighet.

🐛 Buggfixar

• Fixade indenteringsfel i SftpExporter som orsakade dåligt mappingbeteende.
• Korrigerade filmönstermatchning och wildcard-hantering i fileSystemExporter.
• Fixade exekveringsordningsproblem i exportarbetsflöden.
• Löste flera datatypkonverteringsproblem i BuildSQL, post_lastfiltervalue och tableexport-logik.
• Reparerade incremental fetch-logik och fixade indexeringsproblem i dbExporter.
• Korrigerade filterColumn-hantering och datatyp-inferens när tom.
• Fixade sökvägsnormaliseringsproblem som orsakade felaktiga rotmappar i S3/Azure.
• Löste endpoint-problem i post_lastfiltervalue, inklusive korrigerad POST URL och återställning av breaking changes.

🔧 Underhåll

• Omfattande DuckDB-optimeringar:
  • Förbättrade minnesgränser och filstorleksbegränsningar.
  • Aktiverade disk spilling, inaktiverade parallel execution och justerade chunk-storlekar.
  • Lade till sekventiell operationsstöd och minneseffektiv radstreaming via generatorer.
• Stora omstruktureringar över exporters för att förbättra minneseffektivitet, chunking och filskrivning:
  • Konsoliderade binär fillogik.
  • Optimerade CDC-filhantering och filnamnsormalisering.
  • Lade till dynamisk chunk-storleksestimering baserad på DuckDB-kolumntyper.
• Förbättrade temporär filhantering och S3-prestanda genom bättre storleksspårning och rensningslogik.
• Förbättrade loggning över S3-, filesystem-, DB-exporters och ingestionarbetsflöden.
• Uppdaterade ingester för att stödja exporter-mapping-konfigurationsfiler.
• Tog bort debug-kod och förenklad bearbetningsvägar för att öka prestanda och tillförlitlighet.