Source Data Integration (EN)

287560

Wat is Source Data Integration

Met de hedendaagse overvloed aan data is het verkrijgen van inzichten uit data een essentiele stap voor bedrijven om op feiten gebaseerde beslissingen te nemen. Bedrijfsgerelateerde data wordt vastgelegd in verschillende bronsystemen. Door data uit verschillende bronsystemen te verzamelen en met elkaar in relatie te brengen, kunnen er interessante inzichten ontstaan. En in principe geldt: hoe meer data wordt verzameld, des te meer inzichten eruit gehaald kunnen worden.
Het verzamelen en kopieren van deze brondata heet bronontsluiting, data ontsluiting of Source Data Integration.
Binnen de opleiding Source Data Integration leer je o.a:

• Het proces waarin op basis van de informatiebehoefte van afnemers wordt nagegaan of er nieuwe databronnen ontsloten of uitgebreid dienen te worden.
• De verschillende leveringstechnieken waarmee data vanuit bronsystemen verkregen kan worden. Denk hierbij aan een bestandslevering, webbased levering middels een API, een export van een database tabel, het rechtstreeks extraheren van data uit een brontabel of Change Data Capture (CDC).
• De techniek waarmee data verwerkt en opgeslagen kan worden in bijvoorbeeld een data warehouse. Je maakt hierbij kennis met Extract, Transform en Load (ETL).
• De verschillende leveringswijzen waarin data geleverd kan worden. Hierbij maak je kennis met de leveringswijzes volledig, incrementeel, stapelbaar en event-gedreven.
• Hoe historie aan brondata opgebouwd kan worden in een data warehouse. Hoe de “delta’s” oftewel nieuwe en gewijzigde brondata afgeleid kan worden op basis van de leveringswijze.
• De afspraken die met de bron gemaakt dienen te worden om te specifieren welke data geleverd dient te worden, in welke formaten, met welke leveringstechniek-, wijze, frequentie en tijden. Hierbij leer je o.a. de termen interface, metadata en Service Level Agreements (SLA) kennen.
• Hoe en waarom de kwaliteit van de datalevering bepaald dient te worden.
• De voordelen van het standaardiseren en hergebruiken van ETL-jobs. Hoe kunnen deze daarvoor generiek en metadata-gedreven gemaakt worden.

Tijdens de training staat het toepassen van wat je leert centraal en wordt je uitgedaagd met de meegegeven theorie in praktijk cases aan de slag te gaan. De training wordt gegeven door mensen die in de praktijk werken binnen de Data Engineering en weten waar het over gaat. Die praktijk kennis willen ze graag overbrengen.

Voor wie is Source Data Integration

De training Source Data Integration is geschikt voor:

• Starters aan het begin van hun carriere
• Mensen die een carriere switch maken naar Data Engineering
• Mensen die werkzaam zijn in de IT, met name op afdelingen zoals BI en DWH
• Business Analisten
• Informatie Analisten

Voorvereisten

Er zijn geen specifieke vereisten om aan deze training te kunnen deelnemen.
Bij deze training is het gebruik van een laptop vereist.

Doelstellingen

Na deze training is de deelnemer in staat om antwoord te geven op de vragen:

• Wanneer dient een nieuwe bron ontsloten te worden?
• Welke verschillende leveringstechnieken en leveringswijzen bestaan er?
• Wat is ETL?
• Hoe wordt de volledigheid en de juistheid van brondata gegarandeerd?

287560

Wat is Source Data Integration

Met de hedendaagse overvloed aan data is het verkrijgen van inzichten uit data een essentiele stap voor bedrijven om op feiten gebaseerde beslissingen te nemen. Bedrijfsgerelateerde data wordt vastgelegd in verschillende bronsystemen. Door data uit verschillende bronsystemen te verzamelen en met elkaar in relatie te brengen, kunnen er interessante inzichten ontstaan. En in principe geldt: hoe meer data wordt verzameld, des te meer inzichten eruit gehaald kunnen worden.
Het verzamelen en kopieren van deze brondata heet bronontsluiting, data ontsluiting of Source Data Integration.
Binnen de opleiding Source Data Integration leer je o.a:

• Het proces waarin op basis van de informatiebehoefte van afnemers wordt nagegaan of er nieuwe databronnen ontsloten of uitgebreid dienen te worden.
• De verschillende leveringstechnieken waarmee data vanuit bronsystemen verkregen kan worden. Denk hierbij aan een bestandslevering, webbased levering middels een API, een export van een database tabel, het rechtstreeks extraheren van data uit een brontabel of Change Data Capture (CDC).
• De techniek waarmee data verwerkt en opgeslagen kan worden in bijvoorbeeld een data warehouse. Je maakt hierbij kennis met Extract, Transform en Load (ETL).
• De verschillende leveringswijzen waarin data geleverd kan worden. Hierbij maak je kennis met de leveringswijzes volledig, incrementeel, stapelbaar en event-gedreven.
• Hoe historie aan brondata opgebouwd kan worden in een data warehouse. Hoe de “delta’s” oftewel nieuwe en gewijzigde brondata afgeleid kan worden op basis van de leveringswijze.
• De afspraken die met de bron gemaakt dienen te worden om te specifieren welke data geleverd dient te worden, in welke formaten, met welke leveringstechniek-, wijze, frequentie en tijden. Hierbij leer je o.a. de termen interface, metadata en Service Level Agreements (SLA) kennen.
• Hoe en waarom de kwaliteit van de datalevering bepaald dient te worden.
• De voordelen van het standaardiseren en hergebruiken van ETL-jobs. Hoe kunnen deze daarvoor generiek en metadata-gedreven gemaakt worden.

Tijdens de training staat het toepassen van wat je leert centraal en wordt je uitgedaagd met de meegegeven theorie in praktijk cases aan de slag te gaan. De training wordt gegeven door mensen die in de praktijk werken binnen de Data Engineering en weten waar het over gaat. Die praktijk kennis willen ze graag overbrengen.

Voor wie is Source Data Integration

De training Source Data Integration is geschikt voor:

• Starters aan het begin van hun carriere
• Mensen die een carriere switch maken naar Data Engineering
• Mensen die werkzaam zijn in de IT, met name op afdelingen zoals BI en DWH
• Business Analisten
• Informatie Analisten

Voorvereisten

Er zijn geen specifieke vereisten om aan deze training te kunnen deelnemen.
Bij deze training is het gebruik van een laptop vereist.

Doelstellingen

Na deze training is de deelnemer in staat om antwoord te geven op de vragen:

• Wanneer dient een nieuwe bron ontsloten te worden?
• Welke verschillende leveringstechnieken en leveringswijzen bestaan er?
• Wat is ETL?
• Hoe wordt de volledigheid en de juistheid van brondata gegarandeerd?