Active Metadata Engine (AME) – v2 Versionsnoteringar

Version: 25.10 Utgivningsdatum: 1 december 2025

Denna version levererar stora förbättringar över Service API och SQL Generator API, vilket avsevärt utökar plattformens metadataintelligens och automatiseringsförmågor. Service API introducerar avancerad fältkategorisering, förfinad ingest-flödeskontroll, nya workload-hanteringsändpunkter och en bred uppsättning förbättringar av lineage, revision, schemaläggning och källfilsmetadatahantering. Samtidigt får SQL Generator API kraftfull ny SQL-genereringslogik—inklusive list-split-arv, förbättrad formatering, CROSS APPLY-stöd och avancerad multi-fil-utdatahantering—parad med många tillförlitlighets- och kompatibilitetsfixar. Tillsammans fördjupar dessa uppdateringar lineage-noggrannhet, stärker ingest-styrning och moderniserar SQL-generering för komplexa hierarkiska datastrukturer.

Service API

🚀 Funktioner

• Introducerade FieldCategorization-modell med nya endpoints för att hämta, skapa och uppdatera fältdomänkategoriseringar, inklusive fullständig versionsspårning.
• Lade till fullständigt stöd för ingest claimed logic och dataklassificeringar, förbättrade ingest-flödeskontroll.
• Implementerade ett nytt startWorkload API och anslutningslogik, möjliggör explicit workload-initiering och tillståndshantering.
• Förbättrade loggning och publisher-funktionalitet med nya log-by-date endpoints och ytterligare attribut i loggtabeller.
• Lade till stöd för SplitToTable på källfilsnivå, inklusive nya endpoints och förfinad validering.
• Utökade OpenLineage-funktionalitet med förbättrade stagmönster, betrodd datasethantering, namespace-fixar, PDQ view-integration och detaljerade/attributnivå lineage-alternativ.
• Lade till förmåga att köra om fil- och anpassade ingest-källtyper.
• Introducerade ett nytt API för omplanering av ingest-flöden med förbättrad datumhantering (useAsValidFrom, mappinguppdateringar).
• Lade till nya attribut och metadatafält över SourceFiles och relaterade endpoints (listLevels, targetNormalization, ytterligare kolumner, uppdaterade stagscheman).
• Lade till revisionsendpoints för publisher-arbetsflöden och förbättrad originalmeddelande-loggning.

🐛 Buggfixar

• Korrigerade logik för workload-claiming, SQL-statusjämförelser och transaktionskonsistens.
• Fixade flera SQL-problem (datatypkonverteringar, substring-args, coalesce-hantering, fel-tabell-inserts, saknade kolumner i merge-statements).
• Fixade SplitToTable- och SourceFile-valideringsproblem, inklusive skip-file-logik och korrigerade kolumnnamn.
• Korrigerade flera namespace-problem i OpenLineage (betrodda datasets, stagmönster, versalhantering, relationsschemat).
• Reparerade endpoint-regressioner för post_lastfiltervalue, inklusive korrigerade URLs, validering och hantering av tomma filterkolumner.
• Fixade olika justerings-, stavfel- och standardvärdesproblem över ingest- och publisher-API:er.
• Säkerställde att f_-prefix inte felaktigt sätts som standard på fältnamn.

🔧 Underhåll

• Omstrukturerade SQL-frågor över scheduler-, ingest- och workload-logik för tydlighet och prestanda (inklusive stöd för never schedule-typer).
• Rensade oanvända funktioner, förbättrade kommentarer och effektiviserade logik i OpenLineage- och relationsmapping-API:er.
• Uppdaterade loggscheman med nya kolumner, omdöpta fält och förbättrad felmeddelandehantering.
• Förbättrade hantering av DLS namespace-parametrar och förbättrade SourceFiles metadata-representation.
• Allmän rensning: tog bort vilseledande print-statements, uppdaterade valideringar, sammanfogade master-grenar och justerade versionering (API v3.2).

SQL Generator API

🚀 Funktioner

• Lade till list-split med child inclusion, möjliggör parent-nivå SQL-generering som automatiskt inkluderar child-nivåer medan djupare ättlingar kasseras.
• Introducerade en ny SQL-formatter och förbättrad nyckelutbredningslogik över nästlade strukturer.
• Implementerade CROSS APPLY-stöd för Microsoft SQL-publiceringsmönster.
• Lade till stöd för att dela en enda inputfil i flera SQL-outputs, förbättrade modularitet och prestanda.
• Introducerade snabbare join-strategier för publisher-arbetsflöden, optimerade för mindre delmängder.
• Lade till standardnyckelkolumner för att förhindra SQL-fel och förbättrad checksum-hantering på korrekta hierarkinivåer.

🐛 Buggfixar

• Fixade korrupt kommentarhantering och säkerställde att kommentarer returneras som riktiga strängar snarare än textlistor.
• Löste problem relaterade till hierarkisk filladdning (sökvägsmismatcher, aliasing, felaktiga fältsökvägar och . vs ->-missbruk).
• Korrigerade flera integritets- och byggordningsproblem, förbättrade SQL-mallgenereringsstabilitet.
• Fixade saknade blob-filsökvägar, tokenläckage och felaktiga SQL where-villkor för Synapse.
• Adresserade bakåtkompatibilitetsfel för DEFAULTCOLUMNS genom att introducera separata mallar.
• Fixade många stavfel, versalproblem och justeringsproblem som påverkade SQL-genereringskonsistens.

🔧 Underhåll

• Rensade repository-rutter och tog bort obsoleta endpoints.
• Lade till rikare felmeddelanden och förbättrade debug-output för join-optimering.
• Uppdaterade SQL-generator för att använda korrekt API-version och förbättrade versionsnamning för temporära output-filer.
• Applicerade konsistenta casing-strategier på final SQL-output och förbättrade standardkolumnsökvägsdefinitioner.
• Förbättrade splitting-to-table-arbetsflöde: lade till unit tests, slutförde nödvändig logik och optimerade sample-row-generering.