Scala,Spark依赖jar包冲突解决方法

问题背景：

在提交任务运行时，报了如下错误：
Caused by: java.lang.BootstrapMethodError: call site initialization exception
…
Caused by: java.lang.invoke.LambdaConversionException: Invalid receiver type interface org.apache.http.Header; not a subtype of implementation type interface org.apache.http.NameValuePair

问题原因

环境中httpclient包版本太低（其他类似报错也是对应包版本问题导致）

解决方案

确定哪个包引起

找到报错中的错误信息，如本例中：
org.apache.http.Header
org.apache.http.NameValuePair

在IDEA中新建一个文件，复制上述两行代码，然后按住Ctrl,点击Header和NameValuePair跳转到他们的定义文件中。然后按住Ctrl点击定义文件上方的package，这里是http。会在IDEA左侧显示属于哪个jar包。

package org.apache.http;

IDEA里解决冲突

如果是在IDEA中开发，可参考
https://www.cnblogs.com/xxoome/p/13858569.html

解决，但该方法只是在你本地开发环境（即IDEA中解决了冲突），当提交到集群环境中运行时，是会报一样的错。甚至在本地开发环境压根没遇到过jar包冲突，但到集群上去跑时，就会报错。原因是因为集群环境有自己jar包使用顺序。

spark环境中解决冲突

当我们用spark-submit或spark-shell提交代码时，Spark application运行加载依赖有三个地方：

• SystemClasspath – Spark安装时候提供的依赖包 【SystemClassPath】
• Spark-submit --jars 提交的依赖包 【UserClassPath】
• Spark-submit app.jar或者shadowJar打的jar 【UserClassPath】

Spark 依赖包默认优先级
默认加载顺序如下：

1. SystemClasspath – Spark安装时候提供的依赖包

2. UserClassPath – Spark-submit --jars 提交的依赖包 或用户的app.jar

具体参考：
https://blog.csdn.net/adorechen/article/details/90722933
https://blog.csdn.net/a822631129/article/details/118933856
https://blog.csdn.net/weixin_43845733/article/details/109678670