Skip to main content

INGEST by Simplitics – v3 Versionsnoteringar

Version: 3.2 ErsÀtter: release/v25.10.1

3.2-linjen breddar kopplingstÀckningen, skriver om CDC-motorn för stora extrakt, och formaliserar arbetslastens exekveringslivscykel. Se Vad förÀndras i 3.2 för helhetsbilden.

🚀 Funktioner

  • Utökade kopplingar och strömning. Lade till en dedikerad exporterfamilj för meddelandeköer (SQS, Azure Service Bus, Redis streams), en SharePoint Graph API-exporter, en Quinyx SOAP-exporter och NAS-byrĂ„filhantering.
  • ETL-prestanda med hög genomströmning. CDC-motorn skrevs om med DuckDB-diskspill och automatisk uppdelning i delfiler om ca 2 GB, serversidiga strömmande databasmarkörer (SSCursor) lades till, och nedladdning av filer i chunkar möjliggjordes.
  • Partitionering och livscykel. Dynamisk partitionsupptĂ€ckt infördes över S3-, ADLS- och SFTP-filkĂ€llor, substitution av tidstokens standardiserades, och arbetslastens exekveringslivscykel formaliserades.

🐛 Buggfixar

  • Felpropagering i ETL. CDC-felhanteringen propagerar nu undantag direkt och lĂ„ter arbetslasten misslyckas i stĂ€llet för att tyst falla tillbaka pĂ„ ett okomprimerat fullextrakt. Ett uppladdningsfel mitt i en lista markerar nu arbetslastens tillstĂ„nd som Error.
  • Anslutningsprotokoll. OAuth 2.0-tokenhanteringen gjordes om för att grena korrekt pĂ„ grant_type, SSL:s standardverifiering korrigerades, och tolkningen av anpassade anslutningskonfigurationer fixades.
  • Fil- och partitionsoperationer. Tidszonslokalisering vid S3-partitionssökning fixades, ledande snedstreck pĂ„ mĂ„lsökvĂ€gar tas bort för att förhindra att tomma rotmappar skapas, och exponentiell backoff för omförsök lades till för ADLS-uppladdningar.
  • Arbetsytehygien. Arbetskatalogen stĂ€das nu automatiskt vid arbetslastens slutförande, medan filer för versionsspĂ„rning bevaras.

Uppgraderingsnoteringar​

  1. CDC-fel Àr inte lÀngre tysta. En arbetslast som tidigare föll tillbaka pÄ ett okomprimerat fullextrakt vid ett CDC-fel misslyckas nu. Kontrollera all övervakning som behandlade ett slutfört fullextrakt som en frisk CDC-körning.
  2. MÄlsökvÀgar med ledande snedstreck Àndrar form. Det ledande snedstrecket tas bort, sÄ den tomma rotmapp som sÄdana sökvÀgar tidigare skapade uppstÄr inte lÀngre.
  3. OBJECTSTOREURL ersÀtter AZUREBLOBACCOUNTURL och Àr schemaneutral. Det gamla namnet fungerar fortfarande; om bÄda Àr satta vinner det nya.