2. Introduction au traitement du langage naturel

Introduction

Introduction au langage naturel

Prétraitement de texte

Approche de base du traitement de texte

jiebaParticipant

Installation

pip install jieba

Utiliser

• Segmentation du modèle exact
  La vue coupe les phrases le plus précisément possible ,Convient à l'analyse de texte
  
• Segmentation de tous les modes
  Lisez et numérisez tous les mots qui peuvent être utilisés comme mots dans une phrase. ,Très rapide,Mais il n'y a pas d'ambiguïté

• Mode moteur de recherche
  Basé sur un modèle précis,Encore une fois, les mots longs,Augmenter le taux de rappel,Convient à la segmentation des moteurs de recherche
  
• Segmentation traditionnelle chinoise
  Pour Hong Kong, Chine,Texte traditionnel de la région de Taiwan pour segmenter les mots
  
• Utiliser un dictionnaire personnalisé par l'utilisateur

Outils populaires de segmentation des mots chinois et anglais hanlp

Anglais et chinoisNLPKit de traitement,Basé surtensorflow2.0, Utiliser les technologies d'apprentissage profond les plus avancées pour promouvoir les universités et l'industrie
Installation

pip install hanlp

• Segmentation chinoise
  

• Segmentation anglaise
  
  

• hanlp Identification des entités nommées chinoises
  

• hanlp Identification des entités nommées en anglais
  
  
  

• Utiliserjieba Marquage de la parole chinoise
  

• Utiliserhanlp Marquage de la parole chinoise
  

• Utiliserhanlp Marquage de la parole anglaise
  

Représentation tensorielle du texte

one-hot

word2vec

Utiliserfasttext Outils pratiques word2vec Formation et utilisation

• Préparation des données

• Traitement des données

• Vecteur de formation

• Paramètres du modèle

• Vérification des effets du modèle
  
• Enregistrement et rechargement des modèles

Analyse des données textuelles

Distribution du nombre d'étiquettes

Insérer la description de l'image ici

Répartition de la longueur des phrases

Statistiques du nombre total de mots différents

Nuage d'adjectifs à haute fréquence

Traitement des caractéristiques textuelles

n-gramCaractéristiques

Spécification de longueur de texte

Amélioration des données textuelles

Annexe

jiebaListe de contrôle lexical

hanlpListe de contrôle lexical

CAS：Tâche de classification des sujets de nouvelles

# Import relatedtorchKit d'outils
import torch
import torchtext
# Importertorchtext.datasetsTâches de classification de texte en
from torchtext.datasets import text_classification
import os

load_data_path = "./data"
if not os.path.isdir(load_data_path):
    os.mkdir(load_data_path)

# ChoisisseztorchtextEnsemble de données de classification de texte dans‘AG_NEWS’C'est - à - dire les données de classification des sujets d'actualité,Enregistrer dans le répertoire spécifié
# Et les données de formation et de validation cartographiées numériquement sont chargées en mémoire
train_dataset,test_dataset = text_classification.DATASETS['AG_NEWS'](root=load_data_path)

Construire avecEmbeddingModèle de classification des textes pour les couches




Effectuer les donnéesbatchTraitement


Construire des fonctions de formation et de vérification



Formation et validation des modèles

Modèle de séquence classique——HMMAvecCRF

HMM

CRF