FRENNous contacter

· Par Équipe HeyData

Concevoir des jobs Talend : les bonnes pratiques de Dale Anderson, relues pour la version 8 de Talend Studio

Entre fin 2015 et début 2017, Dale Anderson a publié chez Talend une série en quatre parties, « Talend Job Design Patterns and Best Practices ». Il y rassemblait 32 bonnes pratiques de conception de jobs, tirées de centaines de jobs écrits pour des clients. Près de dix ans plus tard, la plupart restent justes : un job lisible, découpé, qui gère ses erreurs et ne code rien en dur, se maintient toujours mieux qu’un autre.

L’outil, lui, a changé. Talend appartient désormais à Qlik, Studio est passé en version 8, Talend Open Studio n’est plus distribué depuis 2024, et plusieurs briques citées dans la série d’origine ont été remplacées. Nous avons donc relu ces quatre articles pour en tirer une série courte, organisée par thème et mise à jour pour Talend Studio 8.

Qui est Dale Anderson ?

Dale Anderson était Customer Success Architect chez Talend. Développeur Talend depuis la version 3.4 et architecte de bases de données depuis plus de vingt-cinq ans, il a relu de nombreux jobs de clients avant d’écrire cette série. Elle a ensuite donné lieu à des présentations lors des Technical Boot Camps de Talend et à des sessions de groupes d’utilisateurs. Son fil conducteur tient en un mot : la cohérence. Peu importe la convention choisie, pourvu que toute l’équipe la suive.

La série

Les 32 pratiques d’origine sont réparties en quatre parties sans ordre thématique. Nous les avons regroupées en sept articles. Chacun synthétise les idées de Dale Anderson, signale ce qui a changé depuis et propose un petit job à construire dans Studio. L’attribution figure en tête et en fin d’article.

  1. Les fondations d’un projet Talend : les principes à arbitrer, des lignes directrices plutôt que des normes, les conventions de nommage et le rangement du référentiel.
  2. Structurer un job Talend : la mise en page du canevas, les jobs parent et enfants, tRunJob ou joblet, tPreJob et tPostJob.
  3. Déclencheurs, erreurs et logs : OnSubjobOk ou OnComponentOk, une gestion d’erreurs commune, Log4j2 et les points de reprise.
  4. Contextes, variables et routines : un groupe de contextes par environnement, le chargement implicite, globalMap et les routines Java.
  5. Schémas et SQL dynamiques : métadonnées du référentiel, schémas dynamiques, requêtes construites à l’exécution, CDC.
  6. Les performances d’un job : mémoire, lookups du tMap, parallélisme et itérations.
  7. Industrialiser un projet Talend : cycles de vie, projets de référence, Git, tests de composants, CI/CD et Job Scripts.

Les articles s’appuient sur les quatre parties de la série de Dale Anderson, publiées sur talend.com et consultées dans leur version archivée. Tout le mérite du contenu original revient à leur auteur ; l’adaptation à Talend Studio 8 et ses éventuelles erreurs sont de HeyData.

Ces sujets sont au cœur de nos formations Talend Developer Data Integration et Talend Developer Data Integration avancé, et de nos missions de conseil.