ETL avec Python : de MySQL à BigQuery
Il s’agit d’un cours direct et précis qui vous permettra d’extraire rapidement des données ETL de MySQL à BigQuery.
Les leçons de ce cours sont divisées en courts tutoriels. Vous pouvez donc suivre ce cours le week-end et être prêt à montrer vos compétences le lundi matin !
Choses que nous couvrirons :
- Installer
- Configurer un compte GCP
- Informations d’identification et authentification pour la sécurité
- Configuration de l’environnement Python
- Extrait
- Utiliser Python pour se connecter à MySQL
- Utiliser les pandas de Python pour exporter des données
- Utilisation de la bibliothèque Python pour enregistrer des fichiers dans des chemins de fichiers
- Transformer
- Utiliser les fonctions Python pour transformer les données
- Apprenez à utiliser les pandas Python pour transformer les données
- Utiliser SQL en ligne lors de l’extraction pour la transformation des données
- Charger
- Utiliser la bibliothèque Python BigQuery
- Se connecter à BigQuery
- Charger des données dans BigQuery
- Charges incrémentielles vs tronquer et charger
- Autres options de traitement des données pendant le chargement
Après avoir suivi ce cours, vous serez à l’aise avec les choses assez cool suivantes :
- Connectez-vous à MySQL en utilisant Python
- Découvrez comment masquer les informations d’identification de votre base de données afin de ne pas les exposer dans votre code
- Utilisation du module os dans le but de sauvegarder des fichiers et de coder en dur moins de choses.
- Utilisez à la fois Python et la bibliothèque pandas pour transformer les données à la volée pendant la phase de transformation de votre ETL
- Apprenez à utiliser les modules/bibliothèques de GBQ pour faire du chargement des données une tâche très simple et directe
Amusez-vous, profitez et continuez à grandir!
