Big Data et ETL sont une famille

Dans ce blog, nous allons voir la relation entre Big Data et ETL. Talend est l'outil largement utilisé pour connecter le Big Data et l'ETL.



Le Big Data a été vraiment assez médiatisé ces derniers temps, tout comme les professionnels qualifiés qui en ont la connaissance. Ne pas utiliser vos compétences principales et partir de zéro n'est pas toujours une tâche facile. Cependant, utiliser vos coupes carrées et vous adapter aux videurs fera des merveilles pour vous. Bingo, nous parlons d'apprendre le Big Data en utilisant la technologie ETL.



Les développeurs ETL qui conçoivent des workflows de transformation de données peuvent très bien utiliser des outils et traduire les workflows en jobs Hadoop. Hadoop est un framework open source qui est largement utilisé pour traiter BigData à l'aide du programme MapReduce (qui est une autre technologie open source qui permet de traiter de grandes quantités de données sur Hadoop). La plupart du temps, trouver des ressources qualifiées dans le Big Data peut être difficile.

Si un développeur ETL doit trouver les adresses IP qui ont fait plus d'un million de demandes sur le site Web de la banque, il doit rédiger une tâche MapReduce qui traite les données du journal Web stockées dans Hadoop . Cependant, avec l'avancement de la technologie ETL, un développeur de travail peut utiliser les outils de conception ETL standard pour créer un flux ETL qui peut lire les données de plusieurs sources dans Hadoop (Files, Hive, HBase), joindre, agréger, filtrer et transformer les données pour trouver une réponse à la requête sur les adresses IP.



Talend est le seul outil d'interface utilisateur graphique suffisamment capable de «traduire» un travail ETL en un travail MapReduce. Ainsi, le travail Talend ETL est exécuté comme un travail MapReduce sur Hadoop et effectue le travail Big Data en quelques minutes. Il s'agit d'une innovation clé qui contribue à réduire les barrières à l'entrée dans la technologie Big Data et permet aux développeurs d'emplois ETL (débutants et avancés) de réaliser plus largement le déchargement de l'entrepôt de données.

La vie dans la ville du Big Data est beaucoup plus facile avec Talend around

comment quitter le programme java

Une couche d'abstraction graphique au-dessus des applications Hadoop - cela rend la vie tellement plus facile dans le monde du Big Data.



Ce que Talend a à dire: «Fidèle à notre histoire d'innovateur et de leader de l'intégration de données open source, Talend est le premier fournisseur à proposer une solution pure open source pour permettre intégration de big data . Talend Open Studio for Big Data, en superposant un environnement de développement graphique facile à utiliser à de puissantes applications Hadoop, permet gestion du big data accessible à plus d'entreprises et plus de développeurs que jamais.

Avec son espace de travail graphique basé sur les éclipses, Talend Open Studio for Big Data permet au développeur et au data scientist d'exploiter les technologies de chargement et de traitement Hadoop comme HDFS, HBase, Hive et Pig sans avoir à écrire Application Hadoop code. En sélectionnant simplement des composants graphiques dans une palette, en les organisant et en les configurant, vous pouvez créer des tâches Hadoop. Par exemple:

  1. Charger des données dans HDFS (Hadoop Distributed File System)
  2. Utilisation Cochon Hadoop pour transformer les données en HDFS
  3. Charger des données dans un Hadoop Hive entrepôt de données basé
  4. Effectuer des agrégations ELT (extraction, chargement, transformation) dans Hive
  5. Influence Sqoop pour intégrer des bases de données relationnelles et Hadoop

Applications Hadoop, parfaitement intégrées en quelques minutes à l'aide de Talend.

Pour que les applications Hadoop soient vraiment accessibles à votre organisation, elles doivent être intégrées en douceur dans vos flux de données globaux. Talend Open Studio pour le Big Data est l'outil idéal pour intégrer les applications Hadoop dans votre architecture de données plus large. Talend fournit plus de composants de connecteurs intégrés que toute autre solution d'intégration de données disponible, avec plus de 800 connecteurs qui facilitent la lecture ou l'écriture dans n'importe quel format de fichier, base de données ou application d'entreprise packagée. Par exemple, dans Talend Open Studio for Big Data, vous pouvez utiliser des composants configurables par glisser-déposer pour créer des flux d'intégration de données qui déplacent des données de fichiers journaux délimités vers Hadoop Hive, effectuent des opérations dans Hive et extraient des données de Hive dans une base de données MySQL (ou Oracle, Sybase, SQL Server, etc.).

Vous voulez voir à quel point il peut être facile de travailler avec des applications Hadoop de pointe?

Pas besoin d'attendre - Talend Open Studio for Big Data est un logiciel open source, téléchargeable gratuitement et utilisé sous licence Apache.

Parler en ville

Talend a été unVisionnaire dans le Magic Quadrant des outils d'intégration de donnéesdepuis 2009. Récemment, ils sont également devenus des pionniers dans le domaine de la qualité des données et du MDM ainsi que de tous les ingrédients pour cuisiner un fantastique plat Big Data.

Ils affirment que: «L'intégration du Big Data augmente les performances et l'évolutivité de 45% dans votre organisation».

Seul Talend 5.5 (et supérieur) permet aux développeurs de générer du code Hadoop haute performance sans avoir besoin d'être un expert en MapReduce ou Pig.

Il y a quelques mois, l'un des articles de Talend disait: «L'adoption d'Hadoop est en plein essor et les entreprises, grandes et petites, ont du mal à trouver suffisamment de développeurs Hadoop bien informés pour répondre à cette demande croissante». Seul Talend 5.5 permet à tout développeur d'intégration de données d'utiliser un environnement de développement visuel pour générer du code Hadoop natif, hautes performances et hautement évolutif. Cela ouvre un large pool de ressources de développement qui peuvent désormais contribuer à des projets Big Data. De plus, Talend reste à la pointe des nouveaux développements dans Hadoop qui permettent aux projets d'analyse Big Data de dynamiser les interactions clients en temps réel.

surcharge vs remplacement de c ++

Talend for Big Data peut aider à comprendre les organisations en collectant des ensembles de données à partir de systèmes sources hétérogènes - tels que des tiers, des API et des flux de réseaux sociaux - et en transformant ces données en une image visuelle du parcours client de bout en bout.

Qu'il s'agisse de l'industrie bancaire, de la pharmacie, du commerce électronique, de l'assurance - Talend peut intégrer des données à n'importe quelle échelle avec un mélange facile avec Hadoop qui s'avère être la technologie la plus avancée pour répondre à la demande du présent et du futur.

Cas d'utilisation dans le monde

De la campagne marketing au service client dans le secteur bancaire en passant par la détection des fraudes, le big data est partout.

Ayant plus de 800 connecteurs seuls dans leur édition open-source, il prétend être la plus grande plate-forme la plus largement prise en charge pour se connecter à n'importe quoi et peut tout récupérer.

Avec le modèle changeant et aligné sur NoSQL, Open Source, Hadoop, le choix d'apprendre le style Big Data et ETL à l'aide de Talend serait la décision la plus logique pour quiconque traite des données sous n'importe quelle forme et à tout moment.

En résumé, les outils ETL sont loin d'être dépassés. Ils sont au cœur de l'écosystème Big Data et jouent un rôle crucial pour permettre l'analyse des données.

comment quitter une méthode en java

C’est pourquoi Talend brille en déclarant «Zéro vers le Big Data sans codage, en moins de 10 minutes».

Vous avez une question pour nous? Mentionnez-les dans la section commentaires et nous vous répondrons.

Articles Similaires: