Source Data Integration

Data wordt vastgelegd in verschillende bronsystemen. Het verzamelen en kopieren van brondata heet bronontsluiting, oftewel data ontsluiting. Essentieel voor bedrijven om juiste beslissingen te nemen.

 

Aan het einde van de training ben je in staat om:

• Te bepalen wanneer een nieuwe bron geïntegreerd moet worden.
• Verschillende aanlevertechnieken en aanlevermethoden van brondata te begrijpen.
• Te begrijpen wat ETL is.
• Te weten hoe de volledigheid en juistheid van brongegevens te kunnen garanderen.

 

In de huidige datarijke omgeving is het voor bedrijven van cruciaal belang om inzichten uit data te halen om weloverwogen beslissingen te kunnen nemen. Gegevens met betrekking tot de bedrijfsvoering worden vastgelegd in verschillende bronsystemen. Door data uit deze verschillende bronsystemen te verzamelen en te koppelen kunnen we waardevolle inzichten verkrijgen. Hoe meer data we verzamelen, hoe meer inzichten we eruit kunnen halen. Dit proces van het verzamelen en kopiëren van brongegevens staat bekend als Source Data Integration.
In deze training leer je over:

• Het proces om te bepalen of nieuwe gegevensbronnen moeten worden ontsloten of uitgebreid op basis van de informatiebehoeften van klanten.
• Verschillende technieken voor gegevenslevering, waaronder bestandslevering, webgebaseerde levering via een API, export van databasetabellen, directe gegevensextractie uit een brontabel en Change Data Capture (CDC).
• De techniek waarmee data kunnen worden verwerkt en opgeslagen in bijvoorbeeld een datawarehouse. Je maakt kennis met Extract, Transform en Load (ETL).
• Verschillende methoden voor gegevenslevering, waaronder volledige, incrementele, stapelbare en event based leveringsmethoden.
• Het opbouwen van de historie van brondata in een datawarehouse en het afleiden van “deltas” of nieuwe en gewijzigde brondata op basis van de aanlevermethode.
• De afspraken die gemaakt moeten worden met de bron over de aan te leveren gegevens, de formaten, aanlevertechniek, wijze, frequentie en tijdstippen. Je leert over interfaces, metadata en Service Level Agreements (SLA).
• Bepalen van de kwaliteit van de datalevering en waarom dit belangrijk is.
• De voordelen van het standaardiseren en hergebruiken van ETL-taken en hoe deze generiek en op metadata gebaseerd kunnen worden gemaakt.

Tijdens de training staat de toepassing van wat je leert centraal en word je uitgedaagd om in praktijkgevallen met de gegeven theorie aan de slag te gaan. De training wordt gegeven door mensen die in de praktijk binnen Data Engineering werken en weten waar het over gaat. Die praktijkkennis willen ze graag overbrengen.