DLS by Simplitics – v2 Versionsnoteringar

Version: 2025.10.1 Utgivningsdatum: 1 december 2025

Denna version levererar betydande förbättringar över Data Lake Service-komponenterna, stärker cross-cloud streaming, metadatahantering och publiceringsarbetsflöden. DataOrganizer har nu en enhetlig, högpresterande streaming-arkitektur för både Azure och AWS, tillsammans med förbättrad komprimering, förbättrad multipart upload-stabilitet och utökat stöd för Data Lake API-operationer. EventListener får viktiga uppdateringar för källfilsvalidering och API-kompatibilitet, medan DataPublisher introducerar mer tillförlitligt pipeline-flöde, publisher-nivåkontroller och stöd för Microsoft Fabric. Tillsammans ger dessa förbättringar en snabbare, mer robust och mer molnjusterad data lake-grund.

DataOrganizer

🚀 Funktioner

• Enhetlig streaming-arkitektur för Azure och AWS med konsistent 8MB chunking för förbättrad prestanda och lägre minnesanvändning.
• Lade till ny S3 streaming-kompatibilitet, inklusive uppdaterade transfer-konfigurationer och förbättrad multipart upload-hantering.
• Introducerade förbättrad streaming-komprimering med en omstrukturerad StreamingGzipCompressor, stöder valfri komprimering av okomprimerade streams.
• Migrerade Azure-uppladdningar till Data Lake API med append-and-flush streaming, möjliggör bättre event-utlösning och fullständigt Hierarchical Namespace-stöd.
• Förbättrade SDK-användning över AWS och Azure för att bättre stödja okänd-längd streams och kontinuerlig streaming utan att buffra hela filer.

🐛 Buggfixar

• Fixade ett problem där parallella S3-uppladdningar korrupterade komprimerad data.
• Korrigerade stream position-återställningar och trunkeringsbeteenden för att undvika korruption under uppladdningar.
• Löste problem i komprimeringshantering relaterat till EOF, buffer flushing och datagränser.
• Fixade sökvägsvalidering för råa destinationer genom att ta bort ledande snedstreck och verkställa avslutande snedstreck.
• Återställde tidigare chunk size-regression för att säkerställa stabilt komprimeringsbeteende.

🔧 Underhåll

• Omstrukturerade streamUploader- och streamDownloader-logik för att minska minnesanvändning och förenkla uppladdningsvägar.
• Uppdaterade dokumentation och inline-kommentarer för tydlighet om streaming-beteende och API-användning.
• Tog bort redundanta felhanteringsvägar och effektiviserade uppladdningsarbetsflöden för Azure och AWS.
• Förbättrade övergripande stabilitet genom att standardisera komprimerings- och streaming-logik över molnleverantörer.

EventListener

🚀 Funktioner

• Lade till en ny update source file endpoint, förbättrade förmågan att modifiera metadata för befintliga källfiler.
• Uppdaterade getSourceFiles läsformat för att justeras med senaste API-beteende.
• Avancerade komponenten till API version 3.2 för förbättrad kompatibilitet och konsistens över tjänster.

🐛 Buggfixar

• Lade till validering för att säkerställa att extraherade filekey-värden från filnamn är giltiga f-guids, förhindrar ingestion av felformade eller felaktigt namngivna filer.

🔧 Underhåll

• Uppdaterade CircleCI-konfiguration för att justeras med ny valideringslogik och säkerställa konsistent byggbeteende.

DataPublisher

🚀 Funktioner

• Lade till logik för att alltid köra root step, även när splitToTables är populerad, säkerställer konsistent pipeline-exekveringsflöde.
• Introducerade publisher-nivåhantering, förbättrade kontroll och beteende över olika publiceringslägen.
• Lade till stöd för Microsoft Fabric, utökade kompatibilitet med moderna dataplattformar.

🐛 Buggfixar

• Tog bort hårdkodade clientType-värden för att återställa dynamiskt beteende.
• Flera fixar som adresserade byggfel, TypeErrors, stavfel och mindre logikproblem genom publisher-flödet.
• Återställde tidigare endpoint-beteende för att lösa felaktig routing i vissa miljöer.

🔧 Underhåll

• Pinnade snowflake-connector-python<4.0 för att undvika breaking changes i nyare versioner.
• Förbättrade loggning, inklusive återställda äldre loggningsvägar och ny testloggning för bättre debugging.
• Omorganiserade Docker Hub login-steg i CI-processen för mer tillförlitliga byggen.
• Konsoliderade audit log-wrappers genom att flytta dem till repository.py för renare struktur.