Skip to main content

Ordlista

Alla förkortningar och plattformsspecifika begrepp som används i dokumentationen, samlade på ett ställe. Begreppen definieras här en gång; sidorna som använder dem länkar hit i stället för att definiera om dem.

Komponenter​

BegreppBetydelse
PDQSimplitics dataplattform som helhet — den enhetliga arkitektur som komponenterna nedan utgör.
AME — Active Metadata EngineDet centrala metadataregistret och API-navet. Lagrar all logik, varje utförd operation och varje planerad operation. Alla övriga komponenter hämtar sin konfiguration härifrån.
INGEST — Data ImporterDen orkestrerade extraktionsagenten. En container per källanslutning, körs enligt schema och landar data oförändrad.
DLS — Data Lake ServiceDen händelsestyrda tjänsten som arkiverar, standardiserar, profilerar och publicerar levererade filer.
DWA — Data Warehouse AutomationDen metadatadrivna motorn som genererar SQL och orkestrerar laddningen till den integrerade modellen.
QPI — Quality Performance IndicatorEn namngiven datakvalitetskontroll som kör SQL mot datalagret och returnerar godkänt/underkänt med ett meddelande och ett mätt värde.
DataOps-konsolenWebbapplikationen för drift: övervakar daglig exekvering och åtgärdar fel. Ett läs- och åtgärdsverktyg, inte ett konfigurationsverktyg.
DevUI — Developer UI / Configuration UIUtvecklargränssnittet för att hantera metadatadefinitioner, med Git-integration och CI/CD-driftsättning.
CaddyserverOmvänd proxy framför plattformen som hanterar TLS-terminering och autentiserad åtkomst.

Databearbetningszoner​

Zonerna som data passerar, i ordning. Zonnamnen konfigureras i Settings, så en installation kan visa egna namn.

ZonSyfte
LandingIngången, där levererad data först landar. En tillfällig buffert — filer bearbetas vidare och sparas inte här.
Raw ArchiveOföränderlig, permanent uppteckning av varje inhämtad fil, organiserad och taggad för spårbarhet. Skrivs en gång; det är återställningsvägen.
TrustedBearbetad och publicerad i ett standardiserat, lättkonsumerat format. Data når Trusted först efter godkända kvalitetskontroller.
ProfileAnalys av vad som faktiskt levererades — upptäcker nya och saknade datapunkter utan att avbryta laddningen.
PublishedDet valda tabellformatet för den överenskomna källeveransen, som ger SQL-baserad åtkomst.
IntegratedDen integrerade modellen över centrala verksamhetsbegrepp, med ensemblemodellering som metodik.
BusinessAnvändningsfallsdrivna datamängder som bär domänspecifika definitioner och regler.

Modellering​

BegreppBetydelse
Source ExportEtt konfigurerat extraktionsjobb från ett källsystem — en databasfråga, ett API-anrop eller en filhämtning.
ConnectionDen tekniska kopplingen till ett källsystem: uppgifter, URL:er, sökvägar.
SourcefileDefinitionen av en inhämtad fils struktur — fält, typer, nycklar och styrningsflaggor. Utgör också datakontraktet.
DatakontraktDen överenskomna strukturen och typningen för en källeverans, lagrad i källfilens fileStructure. Avvikelser mot det rapporteras av Contract Validation.
ModelEn måltabell i datalagret med typade attribut, affärsnycklar och relationer.
MappingEn koppling mellan ett källfilsfält och ett modellattribut, eventuellt med en transformation.
MappningsgruppEn logisk arbetsenhet: en samling mappningar från en källfil till en eller flera målmodeller, med gemensam nyckelmappning, filter och sorteringsordning.
Affärsnyckel (BK)Det eller de attribut som unikt identifierar en post i en modell. Sammansatta nycklar använder businessKeyOrder för att fastställa varje dels position.
Ensemble-/Base-modellDet agila, starkt normaliserade integrationslagret — varje attribut och relation i egen fysisk tabell, fullt historiserat. Svarar på "vad visste vi, och när?"
CORE-/Enterprise-modellDen konsoliderade fysiska kopian av ensemblen: en rad per affärsnyckel, senaste versionen. Svarar snabbt på "vad gäller nu?"
Stage-modellNormaliseringssteget som standardiserar råformat från olika källor före integration.
LaddningsmönsterHur en modell fylls på: none, full, dayspan, incremental eller transaction.

Bearbetning och styrning​

BegreppBetydelse
CDC — Change Data CaptureExport av endast poster som är nya, ändrade eller borttagna sedan senaste körningen. I INGEST är detta en process i minnet, så en omstart av containern nollställer den.
DataprofileringAutomatiska kontroller och validering av en leverans mot dess datakontrakt, som körs i flödet när enableProfiler är aktiverad.
_HID — Hierarchical IDEn punktseparerad sökväg som 1.2.4.1 som anger ett elements exakta position i ett nästlat källdokument. Gör nästlade rader spårbara och fungerar som stabil join-nyckel när listor delas upp i separata tabeller.
Granulär checksummaEn checksumma som beräknas på varje objektnivå i stället för bara på dokumentroten, så att en ändring i en underpost inte markerar hela filen som ändrad.
__fileKeyIdentifieraren som stämplas på en leverans och används för att spåra laddade rader tillbaka till filen de kom från.
SCD Type 2Mönster för långsamt föränderliga dimensioner: varje ändring skapar en ny version i stället för att skriva över, med ett validFrom-fält som anger giltighet.
IdempotentSäker att köra om. De flesta DWA-laddningsuppgifter är idempotenta, vilket är varför omstart av en misslyckad laddning är den normala första åtgärden och inte en sista utväg.
Aktiv metadataMetadata som inte bara beskriver systemet utan driver det — härkomst, versioner och regelefterlevnad blir biprodukter av körningen i stället för att underhållas separat.
Design as DocumentationPrincipen att designen är dokumentationen, och att dokumentationen genererar den körbara koden — så att de två inte kan glida isär.

Drift​

BegreppBetydelse
Den dagliga rundanDen proaktiva rutin som körs varje driftsdag och verifierar varje leverans och bearbetningssteg före den dagliga deadlinen. Se Den dagliga rundan.
ChecklistvyEn konsolvy som jämför konfigurerat mot utfört. Det enda som fångar arbete som aldrig startade — en felräknare visar noll för en uppgift som aldrig schemalades.
Tyst felEn uppgift som slutförs utan fel men returnerar noll rader. Grön överallt utom i räknarna för exporterade rader och filer.
ExpectedEtt härlett värde, beräknat utifrån konfigurerade scheman över det valda intervallet — inte en räkning av vad som faktiskt kördes.

Se även​