在YARN上运行Spark

在YARN上运行Spark

浏览: 412 2018年06月10日
配置大部分为Spark on YARN模式提供的配置与其它部署模式提供的配置相同。下面这些是为Spark on YARN模式提供的配置。Spark属性Property Name默认描述spark.yarn.applicationMaster.waitTries 10ApplicationMast...

独立运行Spark

浏览: 391 2018年06月09日
安装Spark独立模式集群安装Spark独立模式,你只需要将Spark的编译版本简单的放到集群的每个节点。你可以获得每个稳定版本的预编译版本,也可以自己编译。手动启动集群你能够通过下面的方式启动独立的master服务器。./sbin/start-master.sh一旦启动,master将会为自己...
Spark 提交应用程序

Spark 提交应用程序

浏览: 384 2018年06月09日
在Spark bin目录下的spark-submit可以用来在集群上启动应用程序。它可以通过统一的接口使用Spark支持的所有集群管理器 ,所有你不必为每一个管理器做相应的配置。用spark-submit启动应用程序bin/spark-submit脚本负责建立包含Spark以及其依赖的类路径(c...
Spark GraphX 例子

Spark GraphX 例子

浏览: 387 2018年06月09日
假定我们想从一些文本文件中构建一个图,限制这个图包含重要的关系和用户,并且在子图上运行page-rank,最后返回与top用户相关的属性。可以通过如下方式实现。// Connect to the Spark clusterval sc = new SparkContext("spark://ma...
Spark GraphX 图算法

Spark GraphX 图算法

浏览: 455 2018年06月08日
GraphX包括一组图算法来简化分析任务。这些算法包含在org.apache.spark.graphx.lib包中,可以被直接访问。PageRank算法PageRank度量一个图中每个顶点的重要程度,假定从u到v的一条边代表v的重要性标签。例如,一个Twitter用户被许多其它人粉,该用户排名很...
Spark GraphX 顶点和边RDDs

Spark GraphX 顶点和边RDDs

浏览: 365 2018年06月08日
GraphX暴露保存在图中的顶点和边的RDD。然而,因为GraphX包含的顶点和边拥有优化的数据结构,这些数据结构提供了额外的功能。顶点和边分别返回VertexRDD和EdgeRDD。这一章 我们将学习它们的一些有用的功能。VertexRDDsVertexRDD[A]继承自RDD[(Vertex...
Spark GraphX 图构造者

Spark GraphX 图构造者

浏览: 412 2018年06月07日
GraphX提供了几种方式从RDD或者磁盘上的顶点和边集合构造图。默认情况下,没有哪个图构造者为图的边重新分区,而是把边保留在默认的分区中(例如HDFS中它们的原始块)。Graph.groupEdges⇒ED):Graph[VD,ED]) 需要重新分区图,因为它假定相同的边将会被分配到同一个分区...
Spark GraphX Pregel API

Spark GraphX Pregel API

浏览: 447 2018年06月07日
图本身是递归数据结构,顶点的属性依赖于它们邻居的属性,这些邻居的属性又依赖于自己邻居的属性。所以许多重要的图算法都是迭代的重新计算每个顶点的属性,直到满足某个确定的条件。 一系列的图并发(graph-parallel)抽象已经被提出来用来表达这些迭代算法。GraphX公开了一个类似Pregel的...
Spark GraphX 图操作符

Spark GraphX 图操作符

浏览: 433 2018年06月06日
图操作符  正如RDDs有基本的操作map, filter和reduceByKey一样,属性图也有基本的集合操作,这些操作采用用户自定义的函数并产生包含转换特征和结构的新图。定义在Graph中的 核心操作是经过优化的实现。表示为核心操作的组合的便捷操作定义在GraphOps中。然而, 因为有Sc...
Spark GraphX 属性图

Spark GraphX 属性图

浏览: 428 2018年06月05日
 属性图是一个有向多重图,它带有连接到每个顶点和边的用户定义的对象。 有向多重图中多个并行的边共享相同的源和目的顶点。支持并行边的能力简化了建模场景,相同的顶点可能存在多种关系(例如co-worker和friend)。 每个顶点用一个唯一的64位长的标识符(VertexID)作为key。Grap...
引入Spark和GraphX

引入Spark和GraphX

浏览: 381 2018年06月05日
开始的第一步是引入Spark和GraphX到你的项目中,如下面所示import org.apache.spark._import org.apache.spark.graphx._// To make some of the examples work we will also need RDD...
GraphX编程指南

GraphX编程指南

浏览: 426 2018年06月05日
GraphX是一个新的Spark API,它用于图和分布式图(graph-parallel)的计算。GraphX通过引入Resilient Distributed Property Graph: 顶点和边均有属性的有向多重图,来扩展Spark RDD。为了支持图计算,GraphX公开一组基本的功...

Spark SQL 数据类型

浏览: 464 2018年06月02日
数字类型ByteType:代表一个字节的整数。范围是-128到127ShortType:代表两个字节的整数。范围是-32768到32767IntegerType:代表4个字节的整数。范围是-2147483648到2147483647LongType:代表8个字节的整数。范围是-922337203...
SparkSQL 编写语言集成(Language-Integrated)的相关查询

SparkSQL 编写语言集成(Language-Integrated)的相关查询

浏览: 376 2018年06月02日
语言集成的相关查询是实验性的,现在暂时只支持scala。Spark SQL也支持用领域特定语言编写查询。// sc is an existing SparkContext.val sqlContext = new org.apache.spark.sql.SQLContext(sc)// Imp...

Spark SQL Thrift和CLI

浏览: 537 2018年06月01日
运行Thrift JDBC/ODBC服务器这里实现的Thrift JDBC/ODBC服务器与Hive 0.12中的HiveServer2相一致。你可以用在Spark 或者Hive 0.12附带的beeline脚本测试JDBC服务器。在Spark目录中,运行下面的命令启动JDBC/ODBC服务器。...
SparkSQL 性能调优

SparkSQL 性能调优

浏览: 508 2018年06月01日
性能调优对于某些工作负载,可以在通过在内存中缓存数据或者打开一些实验选项来提高性能。在内存中缓存数据Spark SQL可以通过调用sqlContext.cacheTable("tableName")方法来缓存使用柱状格式的表。然后,Spark将会仅仅浏览需要的列并且自动地压缩数据以减少内存的使用...
Spark SQL 数据源Hive表

Spark SQL 数据源Hive表

浏览: 441 2018年05月31日
Spark SQL也支持从Apache Hive中读出和写入数据。然而,Hive有大量的依赖,所以它不包含在Spark集合中。可以通过-Phive和-Phive-thriftserver参数构建Spark,使其 支持Hive。注意这个重新构建的jar包必须存在于所有的worker节点中,因为它们...

Spark SQL 数据源JSON数据集

浏览: 430 2018年05月31日
Spark SQL能够自动推断JSON数据集的模式,加载它为一个SchemaRDD。这种转换可以通过下面两种方法来实现 jsonFile :从一个包含JSON文件的目录中加载。文件中的每一行是一个JSON对象 jsonRDD :从存在的RDD加载数据,这些RDD的每个元素是一个包含J...
Spark SQL 数据源Parquet文件

Spark SQL 数据源Parquet文件

浏览: 395 2018年05月27日
Parquet文件Parquet是一种柱状(columnar)格式,可以被许多其它的数据处理系统支持。Spark SQL提供支持读和写Parquet文件的功能,这些文件可以自动地保留原始数据的模式。加载数据// sqlContext from the previous example is us...
Spark SQL 数据源RDDs

Spark SQL 数据源RDDs

浏览: 352 2018年05月26日
Spark SQL支持通过SchemaRDD接口操作各种数据源。一个SchemaRDD能够作为一个一般的RDD被操作,也可以被注册为一个临时的表。注册一个SchemaRDD为一个表就 可以允许你在其数据上运行SQL查询。这节描述了加载数据为SchemaRDD的多种方法。RDDsSpark支持两种...