Spark bug Practice (including bug: classcastexception; connectexception; noclassdeffounderror; runtimeexceptio, etc.)

Environnement

scalaVersion：2.11.8
jdkVersion：1.8
sparkVersion：2.1.0
hadoopVersion：2.7.1
ubuntuVersion：18.04
windowVersion：win10

scalaLe Code estwindowsProgrammation de bout en bout,ubuntuInstaller sur la machine virtuelle,scala,jdk,spark,hadoopTout est installé surubuntuFin

Question 1

Description du problème：En servicewgetTéléchargerscalaHeure,- Oui. Unable to establish SSL connection

Résolution：

Plus les paramètres pour sauter la validation du certificat--no-check-certificate

Deuxième question

Description du problème：En servicescalaTest du programmewordCountUne erreur s'est produite lors du programme：

(scalaLe programme est sur l'hôte,sparkInstallé sur une machine virtuelle)

22/06/20 22:35:38 INFO StandaloneAppClient$ClientEndpoint: Connecting to master spark://192.168.78.128:7077...
22/06/20 22:35:41 WARN StandaloneAppClient$ClientEndpoint: Failed to connect to master 192.168.78.128:7077
org.apache.spark.SparkException: Exception thrown in awaitResult: 
	at org.apache.spark.util.ThreadUtils$.awaitResult(ThreadUtils.scala:226)
	...
	Caused by: io.netty.channel.AbstractChannel$AnnotatedConnectException: Connection refused: no further information: /192.168.78.128:7077
Caused by: java.net.ConnectException: Connection refused: no further information

Résolution：

C'est exact.sparkEn basconfDans le cataloguespark-env.sh Configurer comme suit

Après la configuration sparkDémarrer sous le RépertoiremasterEtworker

bin/start-all.sh

Puis recommencez.wordCountProcédure,L'erreur suivante s'est produite

Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties
22/06/20 22:44:09 INFO SparkContext: Running Spark version 2.4.8
Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/conf/Configuration$DeprecationDelta
	at org.apache.hadoop.mapreduce.util.ConfigUtil.addDeprecatedKeys(ConfigUtil.java:54)
	at org.apache.hadoop.mapreduce.util.ConfigUtil.loadResources(ConfigUtil.java:42)
	at org.apache.hadoop.mapred.JobConf.<clinit>(JobConf.java:123)

InpomIntroduction dans le fichierhadooopDépendance

<dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-hdfs</artifactId>
            <version>3.3.2</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-common</artifactId>
            <version>3.3.2</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-core</artifactId>
            <version>1.2.1</version>
</dependency>

Exécuter le programme après avoir rafraîchi les dépendances ,- Oui.：

22/06/20 22:50:31 INFO spark.SparkContext: Running Spark version 2.4.8
22/06/20 22:50:31 INFO spark.SparkContext: Submitted application: wordCount
22/06/20 22:50:31 INFO spark.SecurityManager: Changing view acls to: Administrator
22/06/20 22:50:31 INFO spark.SecurityManager: Changing modify acls to: Administrator
22/06/20 22:50:31 INFO spark.SecurityManager: Changing view acls groups to: 
22/06/20 22:50:31 INFO spark.SecurityManager: Changing modify acls groups to: 
22/06/20 22:50:31 INFO spark.SecurityManager: SecurityManager: authentication disabled; ui acls disabled; users  with view permissions: Set(Administrator); groups with view permissions: Set(); users  with modify permissions: Set(Administrator); groups with modify permissions: Set()
Exception in thread "main" java.lang.NoSuchMethodError: io.netty.buffer.PooledByteBufAllocator.metric()Lio/netty/buffer/PooledByteBufAllocatorMetric;
	at org.apache.spark.network.util.NettyMemoryMetrics.registerMetrics(NettyMemoryMetrics.java:80)
	at org.apache.spark.network.util.NettyMemoryMetrics.<init>(NettyMemoryMetrics.java:76)

Mise à jourspark-coreVersion dépendante,C'était2.1.0, Mise à jour à 2.3.0,spark-coreDepomLes dépendances sont les suivantes:

<dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-core_2.10</artifactId>
            <version>2.3.0</version>
</dependency>

Après avoir rafraîchi les dépendances, il y a eu un autre problème de connexion

ModifierpomLa dépendance est

<dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-mesos_2.11</artifactId>
            <version>2.1.0</version>
</dependency>
        

Rafraîchir et signaler à nouveau une erreur ：java.lang.RuntimeException: java.lang.NoSuchFieldException: DEFAULT_TINY_CACHE_SIZE

Ajouterio.nettyDépendance

<dependency>
                <groupId>io.netty</groupId>
                <artifactId>netty-all</artifactId>
                <version>4.0.52.Final</version>
</dependency>

Un problème de connexion réapparaît après l'exécution

Affichage de la machine virtuellesparkDemasterConditions de démarrage

Tout a démarré avec succès , Exclure les raisons pour lesquelles le démarrage n'a pas réussi

ModifiersparkDeconfEn basspark-env .shDocumentation

Redémarrerspark

sbin/start-all.sh

Connexion réussie à la machine virtuelle après le démarrage du programme sparkDemaster

Question 3

Description du problème：

ExécutionscalaDewordCount- Oui.：com.fasterxml.jackson.databind.JsonMappingException: Incompatible Jackson version: 2.13.0

C'est parce queJackson Les versions incohérentes de cette bibliothèque d'outils .Solutions：Tout d'abord,KafkaDans les dépendances de, Exclusion pour JackonDépendance,Pour empêcherMaven Importation automatique de la version haute de la Bibliothèque , Ensuite, ajoutez manuellement la version inférieure Jackon Dépendances de la Bibliothèque ,ReimportC'est tout..

Ajouter une dépendance：

<dependency>
            <groupId> org.apache.kafka</groupId>
            <artifactId>kafka_2.11</artifactId>
            <version>1.1.1</version>
            <exclusions>
                <exclusion>
                    <groupId>com.fasterxml.jackson.core</groupId>
                    <artifactId>*</artifactId>
                </exclusion>
            </exclusions>
        </dependency>
        <dependency>
            <groupId>com.fasterxml.jackson.core</groupId>
            <artifactId>jackson-core</artifactId>
            <version>2.6.6</version>
</dependency>

Rediriger le programme après l'importation ,Le problème réapparaît：

NoClassDefFoundError: com/fasterxml/jackson/core/util/JacksonFeature

La raison en est quejacksonDépendance incomplète,ImporterjacksonDépendance

<dependency>
            <groupId>com.fasterxml.jackson.core</groupId>
            <artifactId>jackson-databind</artifactId>
            <version>2.6.7</version>
        </dependency>
        <dependency>
            <groupId>com.fasterxml.jackson.core</groupId>
            <artifactId>jackson-core</artifactId>
            <version>2.6.7</version>
        </dependency>
        <dependency>
            <groupId>com.fasterxml.jackson.core</groupId>
            <artifactId>jackson-annotations</artifactId>
            <version>2.6.7</version>
</dependency>

Une autre course apparaît ：Exception in thread “main” java.net.ConnectException: Call From WIN-P2FQSL3EP74/192.168.78.1 to 192.168.78.128:9000 failed on connection exception: java.net.ConnectException: Connection refused: no further information; For more details see: http://wiki.apache.org/hadoop/ConnectionRefused
at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:62)
at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
at java.lang.reflect.Constructor.newInstance(Constructor.java:423)

Supposons que ce soit hadoopConnexion refusée,Au lieu desparkDemasterProblèmes de connectivité

ModifierhadoopDeetcEn bascore-site.xmlDocumentation

Redémarrer aprèshadoopExécuter le programme, De nouveaux problèmes surgissent ：

WARN scheduler.TaskSetManager: Lost task 1.0 in stage 0.0 (TID 1, 0.0.0.0, executor 0): java.lang.ClassCastException: cannot assign instance of scala.collection.immutable.List$SerializationProxy to field org.apache.spark.rdd.RDD.org$apache$spark$rdd$RDD$$dependencies_ of type scala.collection.Seq in instance of org.apache.spark.rdd.MapPartitionsRDD
	at java.io.ObjectStreamClass$FieldReflector.setObjFieldValues(ObjectStreamClass.java:2301)
	at java.io.ObjectStreamClass.setObjFieldValues(ObjectStreamClass.java:1431)
	at java.io.ObjectInputStream.defaultReadFields(ObjectInputStream.java:2411)
	at java.io.ObjectInputStream.readSerialData(ObjectInputStream.java:2329)
	at java.io.ObjectInputStream.readOrdinaryObject(ObjectInputStream.java:2187)
	at java.io.ObjectInputStream.readObject0(ObjectInputStream.java:1667)
	at java.io.ObjectInputStream.defaultReadFields(ObjectInputStream.java:2405)
	at java.io.ObjectInputStream.readSerialData(ObjectInputStream.java:2329)
	at java.io.ObjectInputStream.readOrdinaryObject(ObjectInputStream.java:2187)
	at java.io.ObjectInputStream.readObject0(ObjectInputStream.java:1667)
	at java.io.ObjectInputStream.readObject(ObjectInputStream.java:503)
	at java.io.ObjectInputStream.readObject(ObjectInputStream.java:461)
	at org.apache.spark.serializer.JavaDeserializationStream.readObject(JavaSerializer.scala:75)
	at org.apache.spark.serializer.JavaSerializerInstance.deserialize(JavaSerializer.scala:114)
	at org.apache.spark.scheduler.ShuffleMapTask.runTask(ShuffleMapTask.scala:85)
	at org.apache.spark.scheduler.ShuffleMapTask.runTask(ShuffleMapTask.scala:53)
	at org.apache.spark.scheduler.Task.run(Task.scala:99)
	at org.apache.spark.executor.Executor$TaskRunner.run(Executor.scala:282)
	at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
	at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
	at java.lang.Thread.run(Thread.java:748)

La capture d'écran du problème devrait montrer que la connexion devrait être sans problème , Et le début de la réservation wordCountLe travail, Cette fois, ça pourrait être un problème de code .

wordCountCompletscalaCode：

import org.apache.spark.{
    SparkConf, SparkContext}

object WordCount {
    
  def main(arg: Array[String]): Unit = {
    
    val ip = "192.168.78.128";
    val inputFile = "hdfs://" + ip + ":9000/hadoop/README.txt";
    val conf = new SparkConf().setMaster("spark://" + ip + ":7077").setAppName("wordCount");
    val sc = new SparkContext(conf)
    val textFile = sc.textFile(inputFile)
    val wordCount = textFile.flatMap(line => line.split(" "))
      .map(word => (word, 1)).reduceByKey((a, b) => a + b)
    wordCount.foreach(println)
  }
}

Paramètres requisjarSac,Emballer le projet

Et le projet emballé est targetSous le chemin,Trouver la correspondancejarEmplacement du sac,Copier

Chemin de réplication ajouté à la configuration setJarDans la méthode,CompletScala WordCountCode

import org.apache.spark.{
    SparkConf, SparkContext}



object WordCount {
    
  def main(arg: Array[String]): Unit = {
    
    //EmballéjarAdresse du paquet
    val jar = Array[String]("D:\\IDEA_CODE_F\\com\\BigData\\Proj\\target\\Proj-1.0-SNAPSHOT.jar")
    //sparkAdresse de la machine virtuelle
    val ip = "192.168.78.129";
    val inputFile = "hdfs://" + ip + ":9000/hadoop/README.txt";
    val conf = new SparkConf()
      .setMaster("spark://" + ip + ":7077") //masterAdresse du noeud
      .setAppName("wordCount")      //sparkNom du programme
      .setSparkHome("/root/spark")  //sparkAdresse d'installation（ Ça devrait être possible sans ）
      .setIfMissing("spark.driver.host", "192.168.1.112")
      .setJars(jar) // Configurer après l'emballage jarSac
    val sc = new SparkContext(conf)
    val textFile = sc.textFile(inputFile)
    val wordCount = textFile.flatMap(line => line.split(" "))
      .map(word => (word, 1)).reduceByKey((a, b) => a + b)
	val str1 = textFile.first()
    println("str: " + str1)
    val l = wordCount.count()
    println(l)
    println("------------------")
    val tuples = wordCount.collect()
    tuples.foreach(println)
    sc.stop()
  }
}

Résultats approximatifs de l'opération ：

---

md,csdn Quand puis - je importer directement markdown Dossier complet , L'image d'importation ne peut pas être importée directement chaque fois que l'ordinateur a terminé d'écrire , Et une capture d'écran à coller