Active Metadata Engine (AME) – v3 Versionsnoteringar

Version: 3.2 Ersätter: release/v25.10.1

3.2-linjen gör AME till källan för datalagrets styrning: villkor, kommentarer och klassificeringstaggar genereras nu ur samma metadata som bygger tabellerna. Den lägger också till två byggmål — Databricks och PostgreSQL — och stänger exponeringen för SQL-injektion i loggningsvägarna. Se Vad förändras i 3.2 för detaljer om byggmål, modell, laddning och styrning.

🚀 Funktioner

• Automatiserad styrning av datalagret. SQL-genereringen skapar nu unika villkor, primär- och främmandenycklar, PII- och kategoritaggar, kolumnkommentarer, samt arv av domäntaggar för affärsnycklar på normaliserade barntabeller. Villkorsgenerering är på som standard.
• Dataprodukt- och kvalitetsytor. Levererade kontraktsytor för Model v4, asynkron arbetarbaserad utskickning av QPI-kvalitetskontroller, versionerade källfilsstrukturer (SourceFileV3b) och hantering av fältkategorisering.
• Systemobservabilitet och härdning. Exponerade telemetri-API:er för System Health, lade till utskick av QPI-rapporter över flera kanaler, antog schemaneutrala objektlagringssökvägar (OBJECTSTOREURL), och eliminerade SQL-injektion i loggningsvägarna.

🐛 Buggfixar

• Säkerhet i SQL-injektion och spårning. Sårbarheter för SQL-injektion i alla loggningsvägar eliminerades genom övergång till bundna parametrar, och krascher i köarbetaren löstes genom automatisk återanslutningslogik och exponentiell backoff för omförsök.
• SQL-generering och schemaintegritet. Matchningen av föräldrasökvägar i hierarkisk normalisering korrigerades, tekniska metadatakolumner (__*_HID, __*_CHECKSUM) skyddas från aliaseringsregler, escaping av beskrivningar (' → '') fixades, och overwrite-metoder släpper nu befintliga tabeller innan de återskapas.
• Datakonsistens i API:et. Dubbletter i relationsfrågeresultat löstes, filtrering av inre aggregat i schemaläggarfrågor fixades, NaN/NaT-värden konverteras till null för ren JSON-serialisering, och krav på primärnyckel upprätthålls för append- och versionerade importer.
• Precision i loggklassificeraren. Allvarlighetsklassificeringen matchar nu nyckelord på exakta ordgränser, och konfigurationspayload-block undantas från falskt positiva felutlösare.

Uppgraderingsnoteringar

1. Lyft backend till v3 först. 3.2-linjen kräver /api/v3, med /api/v3.2 för generering på objektnivå. Ingenting annat i uppgraderingen kan flytta sig förrän det är gjort. Sourcefile-datakontraktet förhandlas — prövas på v3.2, sedan v3.1, sedan v3, där en 404 faller vidare och en 422 stoppar omedelbart.
2. Generera om definitioner och jämför dem innan du kör en laddning. Publicerade tabellformer ändras för hierarkiska källor, tekniska kolumner får __-prefix med en enda avslutande __checksum, och kolumnordningen har ändrats.
3. Bestäm dig om villkor och klassificering. Villkorsgenerering är på som standard — sätt ENABLE_CORE_UNIQUE, ENABLE_FOREIGN_KEY och ENABLE_PUBL_PRIMARY_KEY till 0 för att behålla tidigare utdata. Sätt TAG_NAME, SENSITIVE_TAG_NAME och SENSITIVE_TAG_VALUE till ditt eget schema i stället för att leva med standardvärdena.
4. Publiceringsdefinitioner för barntabeller bär ytterligare taggsatser, eftersom domäntaggar nu inkluderar affärsnycklar ärvda från förfädernivåer.
5. Sätt om baslinjen för varje test som jämför genererad DDL byte för byte — CREATE TABLE på Snowflake och Databricks bär nu COMMENT, och rundate-standardvärdet löses per anrop i stället för att vara fryst.
6. Fältkategoriseringar kan ännu inte tas bort från gränssnittet.