Flink Learning 2: Application Scenarios

Table des matières：

 

1 Trois scénarios d'application

1.1 Event - driven

ServicesType de conduite：Le calcul et le stockage sont au même endroit.

ÉvénementsType de conduite：Le calcul et le stockage sont séparés.Application avec statut,Lire les événements d'un ou plusieurs flux d'événements,Et réagir（Calcul du déclenchement,Mise à jour de l'état, etc.）

Modèle axé sur les transactions

Le moteur de l'événement est,Lire et écrire des données à partir d'une base de données transactionnelle distante.Les applications axées sur les événements ont évolué à partir d'applications traditionnelles.

Scénario d'application typique axé sur l'événement ：

Avantages des applications axées sur les événements ：

Accès plus rapide aux données locales

 Applications axées sur les événements, Parce que c'est la lecture des données locales , Il suffit de penser à vos propres données , Il n'y aura pas de modification d'autres systèmes .

1.2 flink Comment les applications axées sur les événements sont prises en charge ：

Une capacité importante de gestion d'événements est , Temps de traitement et état .

 

 

 

Parmi euxflinkDesavepoint Est un miroir cohérent de l'état , Plusieurs états d'application peuvent être enregistrés , Pour que l'application puisse être mise à niveau et agrandie en toute sécurité , Et vous pouvez ouvrir plusieurs applications ,Pour finirA/BTests.

1.2 Application analytique des données

Qu'est - ce qu'une application d'analyse de données ：

Application de l'analyse des données de flux ：

  Écrivez les résultats dans une base de données externe , Ou dans un état interne

 Et puis, Applications d'analyse des données telles que les rapports , Disponible à partir d'une base de données externe , Ou lecture interne de l'état ：

Scénarios typiques d'analyse des données ：

Avantages des requêtes en streaming ：

1.Analyse des données en temps réel, Analyse des données hors ligne par lots relatifs ,Faible latence

2. Le problème des limites dans le traitement des données hors ligne par lots est résolu

3. Utiliser le mécanisme de récupération des défaillances , Résoudre le problème complexe de l'ordonnancement des tâches hors ligne par lots （ Et l'échec des opérations en amont en raison de la dépendance en amont et en aval , Les travaux en aval ne peuvent pas fonctionner ）

 

 

 1.2.1 flink Comment soutenir les applications d'analyse de données

1.Fournir des normesSQLInterface, Qu'il s'agisse d'interroger des ensembles de données statiques , Ou les ensembles de données en temps réel sont ok .

La personnalisation est également prise en charge UDFFonctions.

Et, Si vous avez besoin de personnaliser davantage la logique de traitement ,Peut également être utiliséDataSetAPIEtDataStreamAPI Fournir une approche plus basse

En plus,FlinkDeGelly La Bibliothèque fournit plus de bibliothèques pour le calcul graphique .

 

 

 

 

1.3 Application du pipeline de données

Introduction au Pipeline ：Par rapport àETLOpérations, Application de pipeline en temps réel

 

Et peut implémenter un répertoire , Surveillance en temps réel des documents, etc. , Peut être saisi à tout moment en cas de changement .

 

Scénarios typiques pour les applications de pipeline ：

Avantages de la rationalisation：

 

flink Comment les scénarios d'application de pipeline sont pris en charge ：

Fournir un grand nombre de connecteurs ：

Prise en charge de la partition temporelle ,Pour écrire un fichier