Metadatadrevne ingestion pipelines (Bama)

Denne presentasjonen utforsker hvordan metadata- og konfigurasjonsdrevne ingestjonsmønstre kan redusere kompleksitet i moderne dataplattformer. Med utgangspunkt i erfaringer fra datateam som over tid har bygget opp mange nesten-like pipelines og integrasjoner, belyses hvordan manglende standardisering ofte fører til høy kognitiv last, krevende vedlikehold og fragmenterte løsninger. Presentasjonen viser hvordan en generisk runtime kombinert med deklarativ konfigurasjon kan gjøre det mulig å standardisere ingestjonsflyt på tvers av teknologistack, samtidig som fleksibiliteten bevares. Videre diskuteres hvordan tydelig separasjon mellom logikk og konfigurasjon kan gjøre dataintegrasjoner enklere å forstå, validere og videreutvikle over tid. Målet er å vise hvordan ingestjon kan bli mer forutsigbart, mindre implementasjonsdrevet og enklere å skalere uten at kompleksiteten vokser proporsjonalt med antall integrasjoner.
Se CV-en til Anine Harto