> Formations > Serverless Data Processing with Dataflow
Vous avez déjà un compte client ORSYS
Se connecter
Vous êtes nouveau chez ORSYS
Créer un compte
Vous ne souhaitez pas créer de compte
Poursuivre sans me connecter

Formation : Serverless Data Processing with Dataflow

Cours officiel, préparation aux examens de certification Google Cloud

Serverless Data Processing with Dataflow

Cours officiel, préparation aux examens de certification Google Cloud



Avec cette formation, vous approfondissez votre maîtrise de Dataflow pour faire évoluer vos applications de traitement de données. Vous découvrez comment Apache Beam et Dataflow fonctionnent ensemble sans risque de verrouillage fournisseur. Vous apprenez à transformer votre logique métier en pipelines Dataflow, puis vous maîtrisez les opérations essentielles : supervision, dépannage, tests et fiabilité.


INTER
INTRA
SUR MESURE

Cours pratique en présentiel ou à distance
Disponible en anglais, à la demande

Réf. SDD
  3j - 21h00
Prix : 2890 € H.T.
Pauses-café et
déjeuners offerts

Télécharger le programme

Partager cette formation




Avec cette formation, vous approfondissez votre maîtrise de Dataflow pour faire évoluer vos applications de traitement de données. Vous découvrez comment Apache Beam et Dataflow fonctionnent ensemble sans risque de verrouillage fournisseur. Vous apprenez à transformer votre logique métier en pipelines Dataflow, puis vous maîtrisez les opérations essentielles : supervision, dépannage, tests et fiabilité.


Objectifs pédagogiques
À l’issue de la formation, le participant sera en mesure de :
Expliquer l’usage conjoint de Beam et Dataflow pour traiter les données efficacement
Activer Portability, Shuffle/Streaming Engine et Flexible Scheduling pour optimiser coûts et performance
Choisir les bons accès IAM et appliquer les bonnes pratiques de sécurité des pipelines
Configurer et optimiser l’I/O, les schémas, SQL/DataFrames pour simplifier et accélérer le pipeline
Assurer le suivi, les tests, le dépannage et le CI/CD des pipelines Dataflow

Public concerné
Data engineers, data analysts et data scientists aspirant à développer des compétences en ingénierie des données.

Prérequis
Avoir suivi le cours "Data Engineering on Google Cloud Platform" Réf DGC ou avoir des connaissances équivalentes.
Vous recevrez par mail des informations permettant de vérifier vos prérequis avant la formation.

Certification
Nous vous recommandons de suivre cette formation si vous souhaitez préparer la certification "Google Cloud Professional Data Engineer".

Méthodes et moyens pédagogiques
Méthodes pédagogiques
Animation de la formation en français. Support de cours officiel au format numérique et en anglais. Bonne compréhension de l'anglais à l'écrit.

Modalités d'évaluation
Le formateur évalue la progression pédagogique du participant tout au long de la formation au moyen de QCM, mises en situation, travaux pratiques…
Le participant complète également un test de positionnement en amont et en aval pour valider les compétences acquises.

Programme de la formation

1
Portabilité de Beam

  • Portabilité Beam.
  • Runner v2.
  • Environnements de conteneurs.
  • Transformations inter-langages.

2
Séparer le calcul et le stockage avec Dataflow

  • Dataflow Streaming Engine.
  • Planification flexible des ressources.
  • Dataflow.
  • Service Dataflow Shuffle.

3
IAM, quotas et permissions

  • IAM.
  • Quotas.

4
Sécurité

  • Localisation des données.
  • Shared VPC.
  • IP privées.
  • CMEK.

5
Revue des concepts de Beam

  • Bases de Beam.
  • Transformations utilitaires.
  • Cycle de vie d’un DoFn.

6
Fenêtres, watermarks, triggers

  • Fenêtres (Windows).
  • Watermarks.
  • Déclencheurs (Triggers).

7
Sources et Sinks

  • Sources et Sinks.
  • Text IO et File IO.
  • BigQuery IO.
  • Pub/Sub IO.
  • Kafka IO.
  • Bigtable IO.
  • Avro IO.
  • Splittable DoFn.

8
Schémas

  • Schémas Beam.
  • Exemples de code.

9
État et minuteurs

  • API State.
  • API Timer.

10
Bonnes pratiques

  • Schémas.
  • Gestion des données non traitables.
  • Gestion des erreurs.
  • Générateur de code AutoValue.
  • Gestion des données JSON.
  • Utiliser le cycle de vie des DoFn.
  • Optimisations de pipeline.

11
Dataflow SQL et DataFrames

  • Dataflow et Beam SQL.
  • Fenêtrage en SQL.
  • Beam DataFrames.

12
Notebooks Beam

  • Notebooks Beam.

13
Monitoring

  • Liste des jobs.
  • Informations sur les jobs.
  • Graphe du job.
  • Métriques du job.
  • Metrics Explorer.

14
Journalisation et rapport d’erreurs

  • Logging.
  • Error Reporting.

15
Dépannage et debug

  • Processus de dépannage.
  • Types de problèmes.

16
Performance

  • Conception du pipeline.
  • Structure des données.
  • Sources, Sinks et systèmes externes.
  • Shuffle et Streaming Engine.

17
Tests et CI/CD

  • Vue d’ensemble des tests et de la CI/CD.
  • Tests unitaires.
  • Tests d’intégration.
  • Construction d’artifacts.
  • Déploiement.

18
Fiabilité

  • Introduction à la fiabilité.
  • Supervision.
  • Géolocalisation.
  • Reprise après sinistre.
  • Haute disponibilité.

19
Flex Templates

  • Templates classiques.
  • Flex Templates.
  • Utilisation des Flex Templates.
  • Templates fournis par Google.


Solutions de financement
Plusieurs solutions existent pour financer votre formation et dépendent de votre situation professionnelle.
Découvrez-les sur notre page Comment financer sa formation ou contactez votre conseiller formation.

Horaires
Les cours ont lieu de 9h à 12h30 et de 14h à 17h30.
Les participants sont accueillis à partir de 8h45. Les pauses et déjeuners sont offerts.
Pour les formations de 4 ou 5 jours, quelle que soit la modalité, les sessions se terminent à 16h le dernier jour.

Dates et lieux
Sélectionnez votre lieu ou optez pour la classe à distance puis choisissez votre date.
Classe à distance

Dernières places
Date garantie en présentiel ou à distance
Session garantie