Den dagliga rundan

Konceptet DataOps i dagliga operationer inom PDQ by Simplitics-plattformen realiseras fundamentalt genom proaktiv datarevision och centraliserad självbetjäningsövervakning, primärt utförd via DataOps-konsolen. DataOps säkerställer att de helt automatiserade, metadatadrivna pipelinorna körs korrekt och pålitligt, vilket garanterar kontinuerlig dataleverans och kvalitet.

Det dagliga operativa arbetsflödet är strukturerat kring flera konceptuella pelare som säkerställer effektivitet och noggrannhet.

---

Centrala DataOps operativa pelare

1. Centraliserad synlighet och självbetjäningshantering

DataOps-konsolen fungerar som det primära kontrollcentret, utformat för att förenkla dagliga uppgifter och tillhandahålla omedelbara insikter i plattformsprestanda.

• Runtime-skärning och delning: Konsolen ger möjlighet att inspektera runtime-operatörer och statistik, erbjuder detaljerad information om pågående processer.
• Fellösning (idempotens): Uppgifter, särskilt de som hanteras av DWA, är utformade för att startas om säkert via konsolen, eftersom de är idempotenta (kan köras igen utan risk för duplicering eller korruption). Omstart av misslyckade DWA Loading Tasks är en enkel fix tillgänglig för operatörer.

2. Validering av end-to-end dataintegritet

Dagliga operationer fokuserar på att verifiera att datainhämtning och efterföljande bearbetningsfaser upprätthåller spårbarhet och konsistens genom systemets arkitektoniska lager.

• Källinhämtningsrevisioner (INGEST): Operatörer använder INGEST Tasks-vyerna för att bekräfta att de nödvändiga datauttags-agenterna har körts enligt schema (Förväntat = Slutfört, Misslyckade = 0) och att alla förväntade filtyper har levererats. INGEST Task Checklist bekräftar den andra halvan: en grön banner med texten "All configured files have at least one delivery" betyder att varje konfigurerad filtyp har kommit in minst en gång under det valda intervallet. En uppgift som aldrig startade syns här och ingen annanstans — ett mätvärde som visar "inga fel" avslöjar den aldrig.

• Flödeskonsistens (DLS Trace): DLS Trace-vyn verifierar dataförflyttning genom de standardiserade bearbetningslagren:

  Landing → Raw Archive → Trusted → Published → Profile

  Framgångsrikt flöde valideras när räknarna för Landing, Raw Archive, Trusted och Profiled är identiska. Detta bekräftar att DLS Worker har utfört arkivering, standardisering av format och profilering. Räknaren för Stage kan ligga något lägre — en skillnad på upp till 10–20 är normal och i sig inget fel.

3. Orkestrering och modellintegritet

DataOps säkerställer att de sofistikerade integrations- och automatiseringsverktygen konsekvent upprätthåller strukturen för data warehouse-modellen.

• DWA Loading Tasks-revision: Operatörer använder DWA Loading Tasks-vyn för att bekräfta att alla inkommande filer har bearbetats korrekt och laddats in i den integrerade datamodellen. Revisionen säkerställer att alla förväntade laddningsuppgifter slutfördes och att ingen misslyckades (Misslyckade = 0).
• Metadatasynkronisering: Operativ verifiering bekräftar att DWA-komponentens metadatadrivna process framgångsrikt har genererat den nödvändiga SQL:en och orkestreringen vid runtime, baserat på källa-till-mål-mappningar.

4. Data Warehouse-kontroller (DWA Loading Tasks)

DWA-övervakning verifierar att de mottagna och bearbetade filerna har laddats korrekt i den integrerade datamodellen.

Verifieringsprocedur

Nyckelkontrollen här är att:

• Antalet Expected loading tasks och Completed loading tasks måste vara identiskt
• Antalet misslyckade måste vara 0

Steg för att verifiera:

1. Öppna DWA Loading Tasks-vyn
2. Jämför förväntat vs slutfört antal uppgifter
3. Undersök eventuella misslyckade uppgifter omedelbart
4. Bekräfta datatillgänglighet i målsystem

DataOps-konsolen

DataOps-konsolen är den centrala punkten för övervakning och enkel hantering av runtime-operatorer och statistik. Den grupperar sina sidor efter vilket steg i plattformen de täcker — Ingestion, Data Lake, Data Warehouse, Data Quality, Reference och System — var och en med egna övervakningsvyer, checklistor och administratörsåtgärder.

Referens sida för sida

Den här sidan beskriver rutinen. För vad varje konsolsida visar, vad varje mätvärde betyder och vilka åtgärder den erbjuder, se DataOps-konsolen.

Daglig övervakningschecklista

Följ denna sekvens varje driftsdag. Det är samma ordning som används genomgående i dokumentationen — tjänsterna först, därefter data, utifrån källan och framåt.

1. ☑ System Health

   • Körs tjänsterna, och har något fallerat eller varnat under natten?
   • Varje rad med status FAIL måste startas om från den sida som äger arbetet

2. ☑ INGEST Tasks

   • Bekräfta att varje förväntad körning slutförts (Expected = Completed, Failed = 0)
   • Leta efter slutförda körningar som returnerade noll rader — det klassiska tysta felet
   • Bekräfta den gröna bannern i INGEST Task Checklist: "All configured files have at least one delivery"

3. ☑ DLS Trace

   • Verifiera att räknarna stämmer över zonerna (se regeln ovan)
   • Leta efter filer som fastnat i ett steg med filtret Last seen on

4. ☑ DWA Loading Tasks

   • Expected och Completed måste vara lika, och Failed måste vara 0
   • Starta om misslyckade uppgifter — de är idempotenta

5. ☑ DWA Additional Tasks

   • Bekräfta att de påkopplade efterbearbetningarna körts

6. ☑ QPI Monitor

   • Rapporterade någon kvalitetskontroll ett underkänt resultat?
   • Håll isär Fail (data är fel) och Error (själva kontrollen är trasig)

Dokumentera det du inte kunnat åtgärda och följ upp det innan nästa runda.