Spark-Bench 测试教程
Spark-Bench 教程系统环境配置操作系统：centos7
环境要求：安装 JDK, Hadoop, Spark，mvn 运行环境
步骤
安装测试工具
安装 wikixmlj
安装 SparkBench 基准测试组件
单机环境安装方式
根据实际环境配置测试环境
修改基本环境
配置 Spark 运行参数部分
运行 Spark-Bench 测试
机器学习测试案例
图计算测试案例
SQL 查询测试案例
流处理测试案例
其他测试案例
查看测试结果
安装测试工具
所有步骤在 hdfs 账号下进行：
安装 wikixmlj克隆项目：项目地址
1git clone https://github.com/synhershko/wikixmlj.git
进入项目目录进行 mvn 编译：
12345cd wikixmljmvn package -Dmaven.test.skip=truemvn install -Dmaven.test.skip=true
安装 SparkBench 基准测试组件
注： ubuntu 系统需要安装以下包:
1sudo apt-get in ...
Spark 安装教程
Spark 安装安装环境
Fedora 29
openjdk version “1.8.0_191”
安装步骤
下载 Spark 安装包
解压 Spark 安装包 /opt/spark 目录
修改 Spark 配置
修改 PySpark 配置
下载 Spark 安装包下载地址：http://spark.apache.org/downloads.html
解压 Spark 安装包 /opt/spark 目录创建 /opt/spark 目录1sudo mkdir -p /opt/spark
解压到 /opt/spark 目录123cd /optsudo tar -zxvf ~/Downloads/spark-2.3.0-bin-hadoop2.7.tgzsudo mv /opt/spark-2.3.0-bin-hadoop2.7 /opt/spark
修改 Spark 配置修改 Spark 环境变量1sudo vim ~/.bashrc
修改内容
123export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64export SPARK ...