Restcloud ETL extraction de données de table de base de données dynamique

RestCloud ETLLa version communautaire est un outil d'intégration de données,Fournir une construction visuelle de pipelines Multi - données、Gestion des sources de données、Fonctionnement des fonctions de surveillance et de gestion des droits.

1.Description du scénario：

Pour certains systèmes d'affaires fonctionnant tous les jours, une nouvelle fiche de données est générée automatiquement,Hope through1Flux de données lire automatiquement la Feuille de données du jour chaque jour.Par exemple:2022Année6Mois1Le nom de la table de production quotidienne est“table_20220601”,2022Année6Mois2Le nom de la table de production quotidienne est“table_20220602”,Et ainsi de suite.;Pour un tel tableau dynamique,Comment utiliserRestCloud ETLSimple.、Faciliter l'extraction des données.

2.Principe de réalisation：

Tout d'abord, nous devons générer automatiquement le nom de la table pour,Et transférer ce paramètre au composant d'entrée de la table de bibliothèque.Le diagramme de mise en œuvre est le suivant:：

La condition préalable à la réalisation de ce service est que le composant d'entrée de table de bibliothèque supporte la transmission de variables de réception,C'estRestCloud ETLAvantage incomparable.

3.Étapes de mise en oeuvre：

3.1Configuration"Mise en œuvreJavaScript"

Clic droit"Mise en œuvreJavaScript",Cliquez sur“Propriétés du noeud”Ouvrir la page d'édition de configuration,Cliquez sur Suivant,ÉditionJavaCode. Ajouter le Code de nom du tableau de construction au Code ,Les paramètres de sortie sont： p_tablename  ,Comme le montre la figure ci - dessous:：

 Les codes sont les suivants:：

package cn.restcloud.etl.rule.ext;

import org.apache.commons.lang3.StringUtils;

import org.bson.Document;

import java.sql.Connection;

import cn.restcloud.framework.core.context.*;

import cn.restcloud.etl.base.IETLBaseEvent;

import cn.restcloud.etl.base.IETLBaseProcessEngine;

import cn.restcloud.framework.core.util.*;

import cn.restcloud.framework.core.util.db.rdb.*;

import java.util.*;

import java.text.SimpleDateFormat;

/**

indoc Pour les données de flux

Le succès de l'exécution doit renvoyer des caractères 1,Retour0 Indique la fin du processus

*/

public class ETL_T00005_1INWBJPUXVB implements IETLBaseEvent {

@Override

public String execute(IETLBaseProcessEngine engine, Document modelNodeDoc, Document indoc,String fieldId,String params) throws Exception {

   

    Date date = new Date();

        SimpleDateFormat sdf = new SimpleDateFormat("yyyyMMdd");

        String table = "table_" + sdf.format(date);

        PrintUtil.o(table);

        indoc.put("p_tablename",table);

return "1";

}

}   

Terminer l'édition du Code ,Cliquez sur【Compiler et enregistrer】Quitter la configuration.

3.2 Configuration d'entrée de la table de bibliothèque

Clic droit" Entrée de la table de bibliothèque ",Cliquez sur“Propriétés du noeud”Ouvrir la page d'édition de configuration.

 

Sélectionnez la source de données du tableau source ,Cliquez sur Suivant：

  Modifier lire les données SQLDéclarations,select * from Nom du tableau, Nom du tableau Entrez les paramètres de réception ,Format des paramètres：${Paramètres},${p_tablename},Cliquez sur Suivant：

Cliquez sur【Nouveau champ】, Saisissez les champs de la Feuille de données d'extraction , Cliquez sur Enregistrer pour compléter la configuration .

3.3 Configuration de sortie de la table de bibliothèque

Clic droit" Entrée de la table de bibliothèque ",Cliquez sur“Propriétés du noeud”Ouvrir la page d'édition de configuration.

Saisissez la configuration dans l'ordre ,Sélectionner la source de données, Chargement des tables de base de données , Sélectionnez une table de base de données .

Cliquez sur【 Lire à partir du tableau 】,Vérifier les mots clés(Clé primaire),Cliquez sur Suivant.

Sélectionnez la politique de journal correspondante au besoin , Cliquez sur Enregistrer pour compléter la configuration .

4.Exécution des tests

Cliquez sur【Exécution】

 Cliquez sur【On y va.】

5.Voir les résultats de l'exécution

Cliquez sur la sortie de la table de la Bibliothèque , Statistiques des transferts de données

 

---

Merci pour votre attention et votre soutien ！ Pour en savoir plus sur les fonctionnalités ,Veuillez vous joindre à nous.RestCloud ETL Téléchargement gratuit dans la communauté ,Télécharger l'adresse：https://etl.restcloud.cn