Version 2.0 de tapdata, Open Source Live Data Platform est maintenant disponible

https://www.bilibili.com/video/BV1tT411g7PA/?aid=470724972&cid=766317673&page=1

Cliquez sur le lien ci - dessus,Un coup d'oeil rapide d'une minute Tapdata

6Mois29Jour,TapdataLancement du produit et ouverture en ligne de la réunion d'instruction Open Source,Autour de「Your Last ETL」Ce thème,Ferme - la.「Données en temps réel」Le mot Eye,L'officier officiel s'est déclaré ETL Plate - forme de données en temps réel pour Tapdata Live Data Platform En ligne.,Et Tapdata Messages lourds tels que le plan open source pour les fonctions de base.

Lieu de la Conférence de presse,Tapdata Membres de l'équipe centrale avec plusieurs experts de l'industrie des données、Les pionniers de l'écologie des données、Open source Data Product Representative、Des représentants des entreprises clientes et des organismes d'investissement se sont réunis,Se concentrer sur“Mobile”、“Frais”Données,Combiner des solutions historiques avec des exemples pratiques,En production、Différents points de vue sur la consommation et le capital,Explorer conjointement les scénarios d'application des données en temps réel et les changements technologiques,Analyse approfondie de l'architecture technique de la nouvelle génération de plateformes de données en temps réel,.Un aperçu de la situation actuelle et des forces de pointe de l'industrie des données,Apporter un contenu sec continu et un partage intensif de points de vue passionnants,Haute énergie continue,Voici un aperçu des faits saillants de cet événement.△ Cliquez pour voir la vidéo

Un.、Pourquoi l'ère a - t - elle besoin d'une nouvelle architecture de données en temps réel？

L'appel de données pour les scénarios d'analyse hors ligne est un passé qui s'est produit, Les exigences en matière de données pour les scénarios opérationnels en temps réel sont claires pour l'avenir. . Et les différences de scène sont suffisantes pour créer une nouvelle architecture technologique .

Croissance des îlots de données et limites des scénarios historiques

Contexte de formation des îlots de données

Au cours des dernières décennies, , Les entreprises ont mis en place de nombreux systèmes d'affaires , Et la quantité continue d'augmenter . Et à mesure que l'architecture des données devient de moins en moins codée et plate - forme , Les entreprises peuvent à leur tour créer plus de nouveaux systèmes d'affaires à moindre coût . De plus en plus de données et de systèmes d'entreprise , Cela conduit directement au problème des îlots de données . Parce que les systèmes ne sont pas connectés les uns aux autres , Le processus d'accès aux données devient compliqué , Avant d'utiliser les données , Il reste encore beaucoup à faire “Extra”Travail, Y compris l'accès aux données 、Intégration、 Fusion, etc .

Du système d'information historique au nouveau système d'affaires , Modèles communs d'intégration des données d'entreprise

Parmi les modèles courants d'intégration des données d'entreprise, mentionnons API、ETL,Les premiers ESB, Et le courant dominant d'aujourd'hui Kafka, Sous l'influence de plusieurs programmes existants , Une grande variété de liens d'intégration de données ont été créés au sein de l'entreprise . Ces programmes répondent à une partie des besoins techniques , Il est également inévitable d'exposer les limites de l'évolution de l'ère des données .



Solutions d'intégration de données historiques et leurs limites

Parmi eux,API IntégrationCoût relativement faible, Avec une certaine capacité de codage , Aucun outil tiers n'est nécessaire , L'équipe R & D peut effectuer le système en fonction des besoins de partage des données API Encapsulation, Fourniture de nouveaux services en aval . Mais construit directement sur la Bibliothèque source API L'impact sur le rendement est également important. ,Et API D'habitude, il y a Rate Limit, Difficile de supporter la lecture et l'écriture de données massives .En outre,API En gros, les données ne peuvent être publiées que pour une seule bibliothèque , Difficile de traverser la Bibliothèque .

ETL C'est aussi l'un des principaux moteurs du passé. , L'avantage de cette approche est que , Pas besoin d'écrire trop Java Code ou Code de service , Mais par des outils ou des scripts , Pour réaliser l'extraction et la réplication des données vers le système en aval .ETL Les limites de la gestion , Parce que c'est trop simple pour être réutilisé , Il faut beaucoup de ETL Liens, Enfin éparpillé dans toute l'entreprise .

Le résultat du manque de gestion unifiée , C'est une structure spaghetti douloureuse. . Face à cette douleur , De bonnes solutions architecturales sont apparues il y a 20 ans ——Avec** ESB/MQ** Pousser les données dans une file d'attente centralisée de messages d'entreprise 、 Sur le bus de service , Ensuite, les systèmes de l'entreprise qui ont besoin de partager des données ,Adoption API Et Service Et la façon dont ils se connectent , Suppression de la duplication des interactions entre plusieurs systèmes , Réduction des coûts d'amarrage entre les systèmes . Mais le coût global reste élevé , Il est donc largement utilisé dans les programmes de commercialisation . Et le développement est compliqué 、 Couplage élevé du système , Encore moins performant , La chaleur s'est rapidement dissipée. “Le soleil brille”, Est similaire à Kafka Ce produit open source distribué remplace .

Il y a une dizaine d'années,Kafka La popularité rapide, Un grand nombre d'entreprises ont commencé à se baser sur Kafka Intégration des données.Mais parce que Kafka Pas pour ça , Au départ, c'était juste un stockage de journaux distribué , Ses caractéristiques architecturales sont donc plus susceptibles d'être très simultanées 、Haute performance、Distribué. Liens courts par rapport aux exigences d'intégration des données 、Temps court、Délai court,Basé sur Kafka De ETL Schéma parce qu'il y a plus de noeuds , Au lieu de cela, de longs liens apparaissent 、 Les données sont facilement interrompues 、 Dépannage difficile et d'autres caractéristiques .Si vous voulez réaliser, Il reste encore beaucoup à faire Java Développement de code, Grande complexité d'utilisation .

Les dix dernières années,Divers Plate - forme de données centralisée C'est chaud.,En particulier: Hadoop Plate - forme principale de Big Data , Et les entrepôts traditionnels 、 La nouvelle bibliothèque algébrique, etc. représente , Ce type de solution se manifeste par la centralisation des données dispersées dans les différentes îles de données de l'entreprise en une seule plate - forme , Afin d'obtenir les données requises uniformément par l'intermédiaire de la plate - forme centrale . Mais comme son architecture technique est basée sur Hadoop, Il s'agit essentiellement d'une pile technologique avec l'analyse hors ligne comme scénario central , Plus utilisé pour donner un aperçu des données historiques 、Analyse, Données insuffisantes en temps réel , Impossible de supporter des exigences plus élevées en matière de données en temps réel TP Modèle de scénario d'affaires .

Après un examen approfondi de l'architecture technique et des limites qui sous - tendent les nombreuses solutions existantes ,Tapdata Commencez à réfléchir à la possibilité d'une meilleure façon de résoudre le problème des îlots de données —— Pour la dernière fois ETL,Et en temps réel ETL, Virtualisation des données par miroir de données , Stockage centralisé des données miroir , Après un certain traitement , Former une base de données réutilisable Copy Modèle. Et sur cette plateforme centralisée , Fournir aux entreprises en aval les données les plus récentes sur la demande de diverses façons axées sur les services , Essentiellement, c'est DaaS Réalisation du concept .Sur cette base,Tapdata Auto - développement d'un ensemble complet de produits ：Tapdata Live Data Platform.

Tapdata J'ai choisi l'auto - étude complète

Tant de bons composants open source aujourd'hui ,Tapdata Pourquoi ne pas construire des solutions basées sur ces excellentes constructions , Mais concevoir une nouvelle architecture ？

C'est vrai., L'adoption d'un modèle de composants open source peut en effet résoudre certains problèmes dans une certaine mesure , Mais ce n'est pas le meilleur choix. .Tapdata La raison pour laquelle j'ai choisi de développer moi - même une nouvelle architecture technologique , En plus de vouloir rendre le produit petit et léger 、 En plus d'un meilleur entretien , Comprend également sa propre connaissance et sa propre poursuite de la technologie .



Analyse hors ligne des scénarios vs Scénarios opérationnels en temps réel

Dans un scénario réel ,Tapdata Découverte,Scénarios opérationnels en temps réel（OLTP） Demandes de données et Analyse traditionnelle hors ligne (OLAP) Ont une nature différente . Scénario opérationnel en temps réel , Les demandes de données sont généralement des secondes ; Les données elles - mêmes participent à la circulation des activités de base , Chaque donnée est liée à une entreprise réelle , Valeur unitaire élevée , Les exigences relatives à l'exactitude des données sont les suivantes: 100%; La quantité de données d'affaires est beaucoup plus petite que le scénario d'analyse hors ligne .

Comment mieux s'adapter aux caractéristiques des scénarios d'affaires en temps réel , En même temps, il répond aux exigences des scénarios d'analyse hors ligne traditionnels. ？Tapdata Basé sur DaaS ArchitectureLive Data Platform Ou sera la meilleure solution de l'époque actuelle .Tapdata Live Data Platform Le but de Live, C'est le flux et la fraîcheur des données. , Et l'architecture technique de cette plate - forme intégrée de services de données en temps réel , Conçu pour s'adapter à ce thème .

2.、Tapdata Live Data Platform：Première base DaaS Plate - forme de données en temps réel pour l'architecture

Il s'est avéré,DaaS Reflétant une tendance très naturelle et raisonnable au service , Abstraction des données en tant que service , Fournir une capacité de données extrêmement facile à utiliser pour toutes les entreprises en aval .Tapdata La vision est de construire un système de données en temps réel DNA De DaaS Plate - forme, Les utilisateurs n'ont pas besoin de se concentrer sur la technologie sous - jacente , Il suffit de se concentrer sur la logique opérationnelle et les données ——Comme l'eau du robinet., Allumez le robinet pour utiliser des données fraîches , Ça devrait être simple. ！

Tapdata Est né d'un homme DaaS（Data as a Service） Une période de compréhension, mais peu de contact et de nature .À cette époque,Oui. DaaS Les produits de données en tant qu'infrastructure sont rares ,Mais... Tapdata A déterminé cette direction , Et continuer à travailler dans cette direction .Ça a duré trois ans, La première base de DaaS Plate - forme de données en temps réel pour l'architecture ——Live Data Platform（LDP）.

Trois ans d'avant - garde ：De DaaS Les pionniers viennent avec eux ETL Plate - forme de données en temps réel pour

De l'ancrage du circuit de données en temps réel DaaS La première étape commence ,Ça a duré trois ans,Tapdata Les produits de services de données de Target commencent à prendre de l'ampleur . Dans quels scénarios pouvons - nous réellement utiliser Tapdata LDP Pour faire quel genre de travail ？



Un aperçu de l'image que nous pouvons utiliser Tapdata LDP Pour faire quoi？

Scénario1： Plate - forme d'intégration de données en temps réel

Peut être Tapdata LDP Utilisé comme plate - forme d'intégration de données en temps réel （Real Time Data Integration）, Pour remplacer la mise à jour de l'ancienne génération ETL Outils,On dirait. Kettle、OGG、Kafka ETL Solutions relativement complexes ,Ou ETL Scripts, etc..

Scénario2：Plate - forme de service de données en temps réel

Plate - forme de service de données en temps réel mise à jour （Incremental DaaS）, Peut être utilisé pour construire un centre de partage de données de classe entreprise , Mettre les données de base de l'entreprise sur une plate - forme centralisée ,Remplacer ESB/MQ, Il peut également être remplacé dans certains scénarios Hadoop Plate - forme Big Data、Entrepôt de comptage, etc., Peut mieux servir les entreprises BI L'analyse des données et d'autres activités en aval fournissent un soutien en matière de services de données. .

Scénario3： Service de données de base en temps réel

L'avenir,Tapdata Des services de données de base en temps réel seront également mis en place. （Active Master Data Service）, Les solutions traditionnelles de mise à jour des données de base en semaines ou en mois peuvent être mises à jour ,Tapdata L'objectif est de mettre à jour les données de base en temps réel ,Et en utilisant API Service d'accès direct au service de voyage , Permettre aux entreprises en aval d'accéder directement aux données de base de l'entreprise .

Tapdata LDP Comment ça marche？

Tapdata LIve Data Platform Mécanismes de travail

Comme le montre la figure ci - dessus, À gauche, toutes les sources de données de l'entreprise ,Y compris le courant dominant OLTP Base de données, Et les systèmes d'affaires 、Documentation、 Événements de flux d'information, etc. . Tapdata LDP Le mécanisme de travail est le suivant:：

Première étape, Capacité de résolution des journaux , Avec un cadre ouvert Plugin Framework, En temps réel, etc , Première modification de ces sources de données /Mise à jour/ Collecte et normalisation des données modifiées , Entrer dans le cadre de traitement du flux après la formation de l'heure normale ;

Deuxième étape,Adoption Tapdata Programme d'auto - étude , Pas besoin de quitter le processus , Le calcul des données peut être effectué en cours de processus 、 Modélisation et transformation , Résultat rapide ,Entrée DaaS Storage Couche;

Troisième étape, Après avoir placé les données dans Storage Heure de la couche, En fait, un ensemble de modèles logiques a été formé ,Ici, L'utilisateur n'a pas besoin de se soucier de l'endroit où les données sont stockées , Il suffit de se concentrer sur les données dont vous avez vraiment besoin ;

Quatrième étape,C'est aussi DaaS La valeur clé de ,Au niveau des services, Il existe deux principaux modèles de services de données ,Respectivement. Pull Et Push.Le premier fait référence à Tapdata Publier automatiquement API,Ces API Prise en charge de la publication de code bas , Les données peuvent être publiées en fonction des besoins spécifiques . Lorsque les données requises sont déjà stockées dans le système d'affaires ,Pour passer à travers REVERSE ETL, Mettez - les en ordre inverse 、 Les données de gouvernance sont transmises aux utilisateurs ,C'est ça. Push Mode.

Il n'est pas difficile de le découvrir à travers l'image ci - dessus. , Toutes les entreprises axées sur les données sont à l'extrême droite ,Non inclus dans Tapdata Dans un flux de travail en quatre étapes . Parce que peu importe ce qu'il faut faire avec les données, , C'est quelque chose que les utilisateurs eux - mêmes doivent surveiller ,Tapdata Se concentrer uniquement sur la précision 、 Données cohérentes et à jour .C'est ça. DaaS L'essence de： Nous ne faisons pas d'affaires , Nous ne préparons que des données en temps réel .

Tapdata Architecture technique

Comme le montre la figure ci - dessous,Tapdata L'architecture technique se compose d'un grand système de plug - ins 、Gestion des données、 Système et interaction .



Tapdata Aperçu de l'architecture technique ：Une photo montre Tapdata LDP Schéma d'architecture de la plateforme

Parmi eux, L'architecture plug - in comprend également l'intégration des données et de la structure 、 Intégration des calculs et des opérateurs 、 Plusieurs composants tels que l'intégration du cache ：

• Intégration des données： Pour relier les différentes sources de données , .Intégration en temps réel d'une base de données basée sur l'analyse en temps réel des journaux, y compris les clés de la plateforme 、Par API Et Webhook Intégration en temps réel de services ou d'applications caractérisés 、De Excel/TXT Intégration de fichiers etc ,Et de Kafka Intégration de diverses files d'attente de messages, etc. .Pour l'instant,Tapdata Réalisé sur la plateforme C'est exact. 40+ Prise en charge des différentes sources de données ,Y compris: Oracle、MySQL、PostgreSQL、SQLServer Base de données principale équivalente、API、File d'attente、Internet des objets, etc, Et continue d'augmenter les sources et les types de données .

• Intégration structurelle ： étroitement lié à l'intégration des données , Fournir une vue d'ensemble de la structure des données , Peut aider les utilisateurs à mieux comprendre leurs données , Comprendre le flux et l'évolution de la structure des données elle - même .

• Intégration des calculs et des opérateurs ： Composant moteur correspondant ,C'est fait. LDP Fonction de calcul.- Oui. Tapdata Composants informatiques conçus pour les scénarios de services de données en temps réel .Dans le moteur, L'utilisateur peut faire glisser 、Construction de code bas ETL La Mission de,Peut également être basé sur JS Python Attendre le langage de développement, Encapsulation visuelle d'une grande variété de composants opérationnels , Il est également possible d'obtenir des capacités d'ordre élevé aussi lourdes que l'agrégation de flux Multi - flow width Meter ,Plus facile à utiliser.
  
  
  
  Par rapport à Kafka De ETL, Pas besoin de longs développements de liens pour l'utilisation ,Liens plus courts、Moins de retard、 Plus facile à vérifier

• Intégration du cache： Stockage du cache correspondant ,- Oui. Tapdata Composants spécialement conçus pour répondre aux exigences uniques du scénario de streaming pour le stockage , Est une combinaison de contradictions séquentielles et aléatoires , Représente un équilibre élevé entre la performance et la précision .

• Plug - in source de données： Après le calcul des données , Les données peuvent être écrites dans la Bibliothèque cible requise par l'utilisateur via le plug - in source de données , Boucles de circulation finies .

• Data API：Utilisation Tapdata Services de stockage de données intégrés , Les données calculées peuvent également être publiées directement dans API Interface, Les données réelles en tant que service .

InGestion des donnéesSection, Répondre aux demandes des utilisateurs en matière d'exploration et de perception des données ,LDP Fournit une traçabilité des données 、 Fonctions de recherche et de catalogue de données .

In Systèmes et interactions Partie de, Le module système se concentre sur les caractéristiques de l'entreprise ,Y compris les alarmes de surveillance、 Module d'audit complet, etc. ; La partie interactive fournit une interface basée sur le Navigateur 、 Opérations interactives en ligne de commande , Et peut emménager SDK Fonctionnement intégré de , Pour répondre aux besoins des différents utilisateurs .

Compréhension préliminaire LDP Après l'architecture du grand cadre , Les détails de ses principes de conception seront analysés ci - dessous sur la base de plusieurs modules clés 、 Les problèmes rencontrés dans la construction et les solutions correspondantes .

Tapdata Le noyau de l'architecture est auto - développé et construit

• Plugin Framework： Conception d'un système d'extension de plate - forme plug - in

Tapdata Chaque composant du système plug - in correspond à une capacité d'extension différente ,“Extensible” Ce principe se reflète dans Tapdata Tous les aspects de la conception architecturale , Facilité d'adaptation aux différents scénarios .Pour ainsi dire Tapdata C'est la plate - forme qui pousse sur le système plug - in. .



Conception du plug - in Tapdata LDP Accélération de l'expansion des capacités

Sélectionnez plusieurs plug - ins de connexion de données représentatifs （DataSource Plugin）Par exemple：

① DATA： Accès précis, efficace et robuste aux données

Les scénarios en temps réel exigent non seulement des performances et une précision élevées pour l'accès aux données , Possibilité de dépannage dans diverses conditions anormales 、 Les exigences en matière de résilience sont également élevées .À cette fin,,Tapdata En dehors des interfaces communes comme Batch Stream one , Il existe également de nombreuses méthodes d'interface, quoique peu communes mais très utiles , Soutenir conjointement une plate - forme de données en temps réel capable de fournir une garantie d'exactitude et de stabilité des données au niveau de l'entreprise .Par exemple：

• Point d'arrêt de l'incrément total ：Des erreurs occasionnelles, Récupération rapide
• Lecture des données： Les erreurs ont été coulées , Retour en arrière rapide
• Obtenir l'heure de l'événement le plus récent de la Bibliothèque source ： Jugement de retard précis
• Un battement de cœur inconditionnel ： Éviter les effets des points d'arrêt des événements clairsemés
• Conception idémpotentielle: Assurer l'exactitude finale des données

② META： Un système élégant d'inférence automatique de modèle

En ce qui concerne l'exactitude des données , En dehors des données elles - mêmes , L'exactitude de la structure des données ne doit pas non plus être négligée . Au fur et à mesure que le nombre et le type de sources de données augmentent , Des paires de scénarios comme la réplication hétérogène Tapdata LDP La pression d'entretien ne fera qu'augmenter , Les coûts de compilation vont augmenter .Sur cette question,Il y a deux solutions communes.L'un est basé sur JSON Description de la structure par type ou type natif de langue , L'inconvénient est que la structure des tables synchrones hétérogènes est souvent inexacte. , Nécessite un réglage manuel de l'utilisateur . Deuxièmement, il est basé sur un cadre Open Source , Vous devez d'abord créer manuellement une table à l'extrémité cible pour l'utiliser , Pour commencer à faire des calculs . Ce n'est pas une bonne idée. .



Tapdata LDP Optimiser l'exactitude de la structure des données

À cette fin,,Tapdata De nouvelles idées créatives sont proposées —— Introduire une couche intermédiaire abstraite , Il suffit de décrire la cartographie de la source de données au niveau intermédiaire , Correspond automatiquement au type de cible le plus approprié , Donner la relation de cartographie , Et construire automatiquement un modèle de table cible . Une fois le système en ligne , Les erreurs de construction de compteurs rencontrées par les utilisateurs ont été considérablement réduites , Il résout également le problème de l'expansion des sources de données .

https://www.bilibili.com/video/BV1uZ4y1Y7KK/?aid=385693533&cid=766330100&page=1

Lien au - dessus du tampon , Voir la démonstration de l'effet produit du plug - in de connexion de données ,Montrer un MySQL Source de données tout le processus, de l'enregistrement à l'utilisation

• Incremental Engine： Distributed Lightweight real time Computing Engine

Tapdata LDP Le nom complet du moteur de calcul est Incremental Engine,Comme son nom l'indique, Conçu pour le calcul incrémental en temps réel , C'est aussi l'architecture moteur que nous trouvons actuellement la mieux adaptée aux services de données en temps réel . Le moteur est de conception intégrée , Modèle d'échange de données multi - processus par rapport à l'architecture traditionnelle ,Tapdata LDP Rendre les liens extrêmement simples .



Tapdata LDP Un seul processus complète l'échange de données , Les liens sont très simples

Source→Moteur→Objectifs, Tout le travail est fait en un seul processus , Réduire considérablement la charge d'utilisation des utilisateurs . Et minimaliste ne signifie pas compensation fonctionnelle ,LDP Moteur entièrement fonctionnel . De la synchronisation de base 、Conversion, Vers une fusion Multi - flux avancée 、 Plusieurs calculs d'agrégation ,LDP Les moteurs sont capables de supporter ;Source des données、Calcul、Opérateur、 Le stockage peut également permettre des extensions plug - in .En outre, Entre plusieurs moteurs de calcul , Le FAILOVER automatique des tâches est également réalisé , Avantages d'une grande disponibilité distribuée . Et dans une scène de fusion Multi - flux sans fenêtre ,Tapdata Réduire la consommation de ressources des dizaines de fois tout en respectant l'exactitude des données ,Et ça aussi. LDP Une capacité caractéristique de .Le moteur est Tapdata LDP Fournit l'impulsion de base , L'exigence d'un cadre de calcul parfaitement adapté à la plateforme de services de données réelles .

• CDC CACHE STORE： Moteur de cache optimisé pour les scénarios de streaming

CDC Cache Store Le composant a été conçu à l'origine pour être mis en cache CDC Événements incrémentaux.Comme le montre le tableau ci - dessous:, Plusieurs bases de données communes sur le marché , Performance en termes d'abonnements incrémentaux , Il y a plus ou moins des défauts , Ne répond pas bien aux besoins du scénario de service de données en temps réel .**



Face à la contradiction entre l'abonnement séquentiel au moteur de stockage et la lecture et l'écriture aléatoires, l'informatique en continu ,Tapdata Choisir d'abstraiter le stockage du cache , Un moteur de cache a été développé indépendamment , Sur la base d'une lecture et d'une écriture aléatoires avec une certaine disponibilité , Améliore considérablement les performances simultanées définies par l'événement , Tout en soutenant la plateforme pour plus de tâches budgétaires , Et rendre l'architecture technologique de la plateforme plus propre .



Tapdata CDC CACHE STORE Conception architecturale

• API Service： Créer une solution de produit en boucle fermée complète de bout en bout

Face à des données en temps réel aussi précieuses que l'or ,Tapdata Chercher à maximiser la facilité d'accès aux données . Comme solution intégrée ,LDP Les capacités suivantes ont été mises en œuvre: ： Large table est publié directement comme interface , Aide à la mise en ligne rapide des entreprises ; Type de base de données abstraction de haut niveau , Différence d'interface de blindage ; Prise en charge du Débogage d'interface en ligne 、Exécution; Appui à la gestion de l'entreprise , Les fonctions de vérification et de surveillance sont complètes ……Par conséquent,,Tapdata LDP Permet une boucle fermée parfaite pour le jeu de la valeur des données ,Et ça aussi. Tapdata Un des objectifs de conception de .

Tapdata Caractéristiques dominantes

En tant que plate - forme de données de nouvelle génération ,Tapdata LDP Avec les trois caractéristiques suivantes ：

① Une architecture claire axée sur le service ： Utiliser les données de la manière la plus efficace



Une architecture axée sur les services signifie , Nous avons pu synchroniser les données sur la plate - forme centralisée de la station moyenne pour les réutiliser , Réduit considérablement la liaison de données à partir des cheveux sources , Réduire le nombre de liens de centaines à des dizaines ou moins , Réduire l'impact sur les sources et les bibliothèques . .Du point de vue de l'intégration des données en temps réel ,Tapdata LDP Besoin de moins de noeuds , On peut passer d'une douzaine de processus à deux ou trois . Et les frontières sont claires , Concentrez - vous sur le premier kilomètre ou les premiers kilomètres des données , Refuser le seau familial , Concentrez - vous sur les compétences de base .

② Capacité de liaison complète en temps réel ：Soutien TP+AP Scénario, Donner plus de valeur aux données



Et ça aussi. Tapdata Le plus important DNA Qualité,De LDP Le nom de Tapdata C'est exact. Live La haute priorité de.Live C'est - à - dire frais 、Frais,Tapdata L'ensemble du processus est orienté vers TP Et l'analyse en temps réel AP Scénario, Conçu pour accroître la valeur des données en temps réel ,Principalement dans ces domaines：

• Acquisition en temps réel ：Tapdata Support super 40+Sources de données, Prise en charge de la source à la destination Any to Any Synchronisation et amarrage des données en temps réel , Ensuite, il y aura l'Open Source ,In Tapdata En plus de la force principale , Impliquer les développeurs dans la co - Création , Travailler ensemble pour étendre rapidement la disposition des sources de données à 100+.
• Transmission en temps réel ： De la source à la cible ,Contrôle de précision, Retard de transmission de faible à sous - seconde .
• Calcul en temps réel： Lorsque des calculs sont nécessaires pendant le processus ,Tapdata LDP Capacité de traitement informatique en temps réel de dizaines de milliers de flux par seconde , Dans le cas d'un seul noeud , Cette capacité peut encore être améliorée grâce à une distribution parallèle .

③ L'expérience de développement de données la plus facile à utiliser ：Pour les développeurs、 Pour les ingénieurs en données



Du point de vue d'un produit de données ,Tapdata Très préoccupé LDP Facilité d'utilisation et flexibilité , Pas besoin de déployer une douzaine de noeuds ,Développeurs、 Le téléchargement direct par l'Ingénieur de données est très facile à utiliser , Créer une expérience d'utilisation supérieure .Tapdata Il existe deux façons d'utiliser l'interaction ：

• Visualisation complète： Pour les ingénieurs en données , Soutenir le traitement de toutes les données de l'entreprise 、Modélisation、Traitement、Fusionner,Ce que vous voyez est ce que vous obtenez, Obtenir rapidement un modèle de données permanent et mis à jour en temps réel .
• Initiative Fluent ETL API：Pour les développeurs, Spécialement pour les communautés Open Source ,Pas besoin. SQL, Il suffit d'écrire un programme pour avoir la capacité d'intégration des données , Achèvement du développement des données .

Tapdata Crois - moi.,IT Le service est une tendance très claire ,De 20 Amazon a commencé l'infrastructure comme un service il y a un an （IaaS, Infrastructure as a Service）, Il y a plus d'une décennie, les intergiciels de base de données étaient en service （PaaS, Platform as a Service）, Ces dernières années, c'était très chaud. SaaS（Software as a Service）,“Service”Très rapide, La valeur du Service a également été prouvée par l'histoire . Et les tendances actuelles , C'est l'abstraction des données en tant que service , Soutenir toutes les activités en aval . Rendre l'utilisation des données aussi simple que d'ouvrir un robinet et d'utiliser de l'eau courante ,C'est Tapdata La vision de,C'est aussi Tapdata L'origine du nom ——Make Your Data on Tap.



IT Sous la tendance du service ,DaaS Le développement de

En même temps,, Nous sommes également heureux de constater que , De plus en plus de gens de l'industrie commencent à se tourner vers cette piste , Attendez - vous à rassembler plus de forces pour faire progresser la technologie des données .

Tapdata LDP Le canal d'expérience libre - service est maintenant ouvert

Lisez - le ici.,Je crois que tout le monde a raison Tapdata LDP Il y a déjà une certaine reconnaissance . Pour en savoir plus ？ Je veux vraiment faire l'expérience LDP Caractéristiques du produit？ Bienvenue à Tapdata LDP Les premiers agents d'expérience , Accès aux services exclusifs de l'agent d'expérience ：



Processus libre - service ：

No1Pas：Cliquez ici Inscrivez - vous comme“Tapdata Agent d'expérience”

No2Pas： Inscrivez - vous avec succès à “ Experience Officer Personal Center ”

No3Pas： Cliquez dans le service exclusif “ Télécharger le paquet d'installation et obtenir la version Enterprise License”, Suivez les instructions d'essai pour compléter l'installation et License Activation.Ou cliquez sur“ Enterprise Online DEMO Expérience” Obtenir un compte de connexion et un mot de passe

Trois、「Poissons」Avec「La patte d'ours」Les deux：Tapdata L'Open source et la commercialisation vont de pair

Tapdta Fondateur TJ Depuis l'écriture Tapdata Début de la première ligne de code pour , J'ai décidé d'ouvrir le code source. .

6Le dernier jour du mois,Tapdata La version open source est officiellement en ligne .

Que ce soit du point de vue de l'entreprise ou de l'écologie industrielle , Open source et commercialisation n'ont jamais été “Poissons”Avec“La patte d'ours”La relation entre, C'est la complémentarité des moteurs. . Open Source apporte l'innovation technologique ,Pour Tapdata Transmission d'une dynamique itérative constante ; Les avantages de la commercialisation alimentent la communauté open source , Il fournira également une base stable pour le fonctionnement continu du mode open source .“Ouvert”Avec“Open Source”Exactement. Tapdata Gravure DNA La stratégie de Li tient .

• GitHub Liens vers les projets：https://www.github.com/tapdata/tapdata
• Site open source：https://tapdata.github.io

Tapdata Pourquoi être Open Source ？

Solution d'intégration des données basée sur la construction open source

Aujourd'hui, De plus en plus d'entreprises et d'utilisateurs sont conscients de la valeur des données . Mais la complexité et la lourdeur des solutions open source existantes découragent souvent de nombreux utilisateurs . Longueur du lien face à la solution open source de la plate - forme de données existante 、Non en temps réel、Coût élevé、 Défauts difficiles à entretenir ,Tapdata Je fais de mon mieux pour créer une vitesse opposée 、En temps réel、Simple.、 Nouvelle plateforme facile à utiliser .Tapdata L'espoir est basé sur une capacité entièrement automatisée d'intégration de données en temps réel , Relier et unifier les îlots de données de l'entreprise , Devenir la base de données principale de l'entreprise .



Tapdata Dédié à la construction rapide 、En temps réel、Simple.、 Un nouveau programme facile à utiliser

Et nous savons que ：Un homme.、 La force d'une entreprise est limitée ,Et Tapdata La vision est grande , Sur le chemin de la cible , Il y a beaucoup de défis qui nous attendent . Nous avons besoin de la voix de la communauté 、 Le coup de fouet de l'utilisateur 、 Participation active et aide multiforme , Ensemble pour rendre le produit plus fort . Nous espérons que grâce à Open Source , Impliquer de plus en plus de développeurs dans Tapdata Utilisation et développement ,Aide Tapdata Les projets open source permettent une croissance plus rapide , Répondre plus rapidement aux demandes d'un plus grand nombre d'utilisateurs , Permettre à un plus grand nombre d'utilisateurs d'accéder à la valeur des données fraîches ,Et apporterPlus Besoins et scénarios pour .

Tapdata FondateurTJ Commencez par écrire la première ligne de code , J'ai décidé d'ouvrir notre code source. .Nous sommes prêts——Jean Tapdata Version Open Source, Du sang frais pour fournir des données en temps réel à un plus grand nombre de développeurs .

Tapdata Open Source RoadMap

Comme le montre la Feuille de route open source ci - dessus ,6 Mois 30 Le premier scénario de couverture de base open source publié le ：Synchronisation des données en temps réel、Développement et Fluent ETL.3 Après un mois,Nous publierons Tapdata 1.5 Version, Nouvelle vérification des données en temps réel prévue 、 Vérification incrémentale des données 、 Fonction personnalisée et support de scène de l'opérateur d'agrégation , Ajouter également la source de données à 50 Plus de.

Attendu le 2022 Année 11 Mois 30 Officiellement publié le 2.0 Les compétences de base du supplément de version comprennent: ：Any DB-To-API,Répertoire de données、Découverte de données、Traçabilité des données, Et augmenter le nombre de sources de données prises en charge à 80+.En plus de ça,, Nous avons encore beaucoup de capacités que nous voulons explorer avec tous les développeurs communautaires au fur et à mesure qu'ils évoluent , Communiquer et résoudre les problèmes .Dans le futur,Tapdata La version open source sera également disponible Open API、 Moteur de stockage en continu 、Open Metadata、Master Data Attendez plus de poids ,Attendez avec impatience.！



Tapdata Liste des capacités open source

Tapdata Recrutement limité des premiers agents d'expérience open source ！

Pour mieux écouter les développeurs , Créer ensemble élégance et facilité d'utilisation 、 .Plate - forme de données en temps réel entièrement fonctionnelle ,Tapdata Les agents d'expérience des projets open source sont maintenant sollicités publiquement , Expérience fraîche de projets open source de haute qualité Tapdata , Devenir les premiers membres de la communauté , Rencontrez plus de développeurs et de pairs ,Avec Tapdata Travailler ensemble pour exploiter le potentiel des données , Obtenez les dernières informations sur le projet pour la première fois .

En tant que Tapdata Les premiers utilisateurs de la communauté ,Vous pourrez：

• Faites un pas rapide avec vos données ,Sens Data on Tap
• Obtenir Tapdata Open Source Issue、 Priorité particulière des besoins
• Première mise à jour de la communauté （ Y compris, sans s'y limiter, le plan de développement 、Technologies de base、Scénarios d'affaires, etc.）
• Participation aux activités、 Obtenir la tâche de débutant de l'agent d'expérience Open Source 、 Obtenir le sac à dos du matin 、Carte de marée T T - shirts et autres cadeaux
• Possibilité d'être invité à se joindre à Tapdata Committer Program,Devenir officiel Tapdata Committer
• Possibilité de participer directement et d'influencer Tapdata L'avenir de

Lien vers le texte original：Tapdata De 2.0 Édition ,Open Source Live Data Platform Maintenant disponible - Tapdata

Tapdata De 2.0 Édition ,Open Source Live Data Platform D'autres articles connexes ont été publiés

1. Prise en charge de la version nationaleOffice 365DePowerShellLe module est maintenant disponible

   Auteur:Chen Xizhang Publié dans2017Année5Mois12Jour Dans mon dernier article, j'ai expliqué commentPowerShellAccès àOffice 365DeGraph API,J'ai laissé une question à la fin de l'article,J'espère qu'il y a des amis qui peuvent suivre cette ligne de pensée,Essayez. ...

2. 【Alpaca】.Net Version open source configuration Center - Sélection technique Vue 3.0

   Oui Non Vue 3.0 ExistantVue 2.* Non recommandé,Attendez.Vue 3.0 Sortez de l'outil de migration , La charge de travail n'est pas faible si elle est modifiée manuellement. Nouveaux projets Considérez l'équipe Vue + TS + VS CodeLe niveau de compétence. En cours de route, vous rencontrerez ...

3. MvcPager Contrôle de pagination open source gratuit 3.0Édition publiée！

   MvcPager 3.0 Version originale 2.0 Plus grande mise à jour basée sur la version ,C'est exact.MvcPager Le plug - in script a été réécrit et considérablement optimisé .Partie réparéebug Et ajouter un nouveau client Javascript APIFonctions équivalentes,Plus facile à utiliser,Plus puissant ...

4. Basé surDDDLiteGestion des droits pourOpenAuth.net 1.0L'édition est officiellement publiée

   Distance précédenteOpenAuth.netL'article de5Ça fait plus de mois.,Le projet a été reconnu par de nombreux amis au cours de cette période,Open Source China TOPStarNombre proche300,Et ça m'a convaincu de continuer..Détends - toi un peu.,Lancement officiel1.0Édition,Et à Ali ...

5. [Réimpression]MonJavaétagère arrière (2016 Hiver chaud 4.0Édition)

     [Réimpression]MonJavaétagère arrière (2016 Hiver chaud 4.0Édition) ps: J'ai commencé récemment Java, Il y a d'autres bases linguistiques , Mais lisez bien. , Bon entraînement ,Je l'ai cherché sur Internet., Il n'y a pas de liste de livres. ,Reproduit intentionnellement,Pratique pour ...

6. SWFUpload 2.5.0Édition Documentation officielle Traduction chinoise

   Adresse originale:http://www.cnblogs.com/youring2/archive/2012/07/13/2590010.html#setFileUploadLimit SWFUpload v2 ...

7. pythonImplémenter un résumé automatique d'un article ou d'un blog(AnnexejavaVersion Open Source Project)

   pythonImplémenter un résumé automatique d'un article ou d'un blog(AnnexejavaVersion Open Source Project) Quand j'écris un blog,J'a I l'habitude d'ajouter un profil à un article.Il est maintenant possible de compléter automatiquement!TF-IDFApplication de la similitude avec le cosinus(Trois):Résumé automatique - Le blog de Nguyen Yifenghttp: ...

8. WordPressVersion Widget Wechat3.0Édition publiée

   DistanceWordPress Edition Wechat applet la dernière version a été publiée un mois après . Ici , Mon travail a changé , Plus une nouvelle version en cours de développement , À l'heure actuelle, l'amélioration et la mise à jour de la version open source accusent un léger retard. . Bien que cette version soit 3.0Édition, Il y a eu une transition 2.8Édition,- Non. ...

9. Créez un plug - in pour télécharger des images sur des outils pointus （MacÉdition Open Source）

   Écris.markdown Comment télécharger rapidement des captures d'écran sur le lit d'un blog -- Mise en œuvre d'un plug - in d'outils (windowsÉdition Open Source)(2017-05-31 20:23) Créez un plug - in pour télécharger des images sur des outils pointus Compte tenu de l'étape du téléchargement Manuel des captures d'écran du blog sur la table ...

10. WordPressVersion Widget Wechat2.2.0Édition publiée

    2017Année8Mois12JourWordPressVersion Widget Wechat2.2.0 L'édition a été officiellement publiée après examen par Wechat , La mise à jour de cette version est axée sur l'amélioration de la fonctionnalité . Les principales fonctions mises à jour sont : Liens à l'intérieur du site ,Je suppose que ça te plaît.,Articles chauds. WordPress Version Wechat applet Open ...

Recommandation aléatoire

1. Fis3 La voie de l'ingénierie frontale [ Dépendance déclarative des trois chapitres caractéristiques ]

   Fis3Version:v3.4.22 Fis3Trois caractéristiques de Localisation des ressources: Obtenir un chemin en ligne pour toutes les ressources utilisées dans le développement Contenu intégré: Mettre le contenu d'un fichier (Texte)Oubase64Codage(Photos) Intégré dans un autre fichier Déclaration de dépendance: Dans un texte ...

2. gitlab Commutation à distance après la migration de l'adresse de la bibliothèque

   Les locaux ont besoin de originSupprimer,Puis ajouter un nouveauorigin git remote rm origingit remote add origin [url] git push --set-upstream ...

3. -_-#【JS】defer / async

   RéférencesJavaScript Deux propriétés au moment du fichier deferEtasync <script src="js1.js" defer></script> <scrip ...

4. VMwareMachine virtuelleping- Oui.DUP!

   VMwareMachine virtuelleping- Oui.DUP!   ping Extranet, Toujoursping Toutes les passerelles apparaissent DUP! Baidu a vérifié pendant longtemps , Toutes les méthodes sont inefficaces , Je ne peux que google Voir les méthodes étrangères . http://codeblog.co. ...

5. angular Tri des filtres

   <table class="table"> <thead> <tr> <th ng-click="changeOrder('id ...

6. spring mvc Personnalisation moyenne404Page inIEImpossible d'afficherfavicon.icoLa solution au problème.

   Ici, on utilisejsp, La couche de contrôle utilise ModelAndView, Les solutions spécifiques sont les suivantes: @RequestMapping(value = "notfound", method = Reques ...

7. nginx Résumé du Tutoriel de configuration pseudostatique

   Innginx Configurer pseudo - statique ,C'est ce qu'on dit souvent.urlFonction de réécriture,Il suffit denginx.conf Écrivez les règles de réécriture dans le fichier de configuration . Bien sûr., La règle est que vous devez connaître les expressions régulières ,Maîtrise seulementnginx Son propre modèle de correspondance régulière , Ne pas comprendre la régularité ...

8. XamarinMoyenne ios ModifierAssets.xcassets Après le document Impossible de déboguer et de compiler

   Le problème est que vsDans le projet Non inclus Si l'invite ne trouve pas de correspondance png Veuillez vérifier. iOS Après le déchargement du projet Édition Et trouver les documents correspondants pour vérifier <ImageAsset Include="Assets.xcas ...

9. ubuntuParamètres intermédiairesxamppDémarrage

   sudo ln -s /opt/lampp/lampp /etc/init.d/lampp sudo update-rc.d -f lampp defaults

10. 3. JavascriptNotes d'étude——Variables、Mémoire、Champ d'application

    3. Variables.Mémoire.Champ d'application 3.1 Valeurs des types de base et de référence ECMAScript Les variables peuvent contenir des valeurs de deux types de données différents:Valeur de type de base[Undefined.Null.Boolean.Number Et Strin ...