Grunderna

Simplitics-metoden

Simplitics är ett avancerat ramverk som integrerar kärnarkitektoniska lager, banbrytande principer och automatiseringsprogramvara för att accelerera utveckling och höja kvaliteten. Vårt uppdrag är att minimera koddrift över tid och optimera den totala ägandekostnaden (TCO). Vi är engagerade i att demokratisera datatillgång och ge företag möjlighet att låsa upp affärsvärde från sina data, allt medan vi upprätthåller nyckelprinciper som sökbarhet, interoperabilitet, kvalitet och säkerhet. Sammanfattningsvis driver vi datadrivna insikter. Vi kallar det: Förenkla analyser – Simplitics-metoden.

Simplitics Arkitekturöversikt

1. Landing Zone: Det initiala lagret där rådata intas.

2. Raw Archived Data: Ett lagringslager för historiska data.

3. Published Data: Ett lager för data som har bearbetats och är redo för vidare användning. Källkontext och källorienterade namnkonventioner.

4. Integrated Model: En enhetlig modell som integrerar data från olika källor till gemensamma kärnaffärsbegrepp.

5. Business-Oriented Data Product: Det slutliga lagret där data organiseras i specifika dataprodukter för slutanvändarförbrukning.

Nyckelfunktioner

INGEST Data: Anslut till en databaskälla eller API eller meddelandekö eller filsystem och kopiera dess data till "Landing Zone".

Data Lake Service Listener: Konfigurera en lyssnare som övervakar filmönster i "Landing Zone" och flyttar data till "Raw Archive". Datan är unikt taggad, vidare bearbetad till önskat tabellformat och därmed publicerad i "Published Data"-lagret.

Core Business Concept Model: Modellera dina kärnaffärsbegrepp och definiera laddningsmappningar från "Published Data" till "Integrated Model"-data.

Ytterligare modellberoenden: Sätt upp beroenden till ytterligare logik för att bygga "Business-Oriented Data Products".

Datakontrakt: Definiera datakontrakt för din publicerade data.

Avvikelseupptäckt: Upptäck avvikelser från dina datakontrakt i den dagliga driften.

Ommodellering av data: Modellera om data vid behov.

Design som dokumentation: Din design är din dokumentation, som i sin tur blir din kod — aldrig inaktuell, aldrig ur fas.

Kärnkomponenter

AME-komponenten är kärnan i all drift. Den lagrar all logik och registrerar alla operationer som utförts, tillsammans med alla planerade operationer.

INGEST-komponenten är en agentteknik som kan köras var som helst och minimerar mängden data som skickas över nätverket. Den kan styras centralt även när den är distribuerad.

DLS-komponenten triggar på nya filhändelser och laddar data enligt valda mönster till ett valt publicerat tabellformat. Den använder workers som körs på virtuell kapacitet och kräver en mängd CPU och minne anpassad efter behovet. Den kör streaming-SDK:er ovanpå objektlagringsteknik och kan skala till hur många operatorer som behövs. Helst körs många små workers.

DLS-komponenten hjälper oss också att bli mer datadrivna i utvecklingen. En delkomponent profilerar innehåll och struktur, vilket gör att vi kan publicera resultatet som ett utkast till datakontrakt.

DWA-komponenten genererar SQL-kod och laddningsorkestrering utifrån modellbeskrivningar och källa-till-mål-mappningar. Den har ett orkestreringsramverk som gör att ytterligare SQL-baserade operationer kan triggas när vissa modeller och källfiler laddats klart.

QPI-komponenten låter oss schemalägga SQL-baserade kontroller på data. Till exempel att domänvärden måste matcha en viss värdelista, eller att två sammanslagna tabeller måste uppfylla ett visst villkor.

DataOps-komponenten låter oss arbeta med den metadata som samlats i vår Active Metadata Engine. Den gör det möjligt att skära och dela runtime-operatorer och statistik, visar vilken logik som används och möjliggör enkla justeringar och felavhjälpning.

DevUI-komponenten består av två delar: ett CI/CD-ramverk som låter oss spara logik och definitioner i ett Git-repository, och ett webbgränssnitt för direkta operationer mot AME.

Data kan läggas till eller avvecklas i vilket lager som helst i arkitekturen, vilket gör att vi kan gå förbi komponenter och ersätta funktionaliteten med valfri teknik.

Vill du bidra? Hör av dig till oss så samordnar vi nästa steg.