Introduction to Spark

Intro to MapReduce

Traditional and Parallelize

  • 传统数据处理使用串行处理, 速度较慢, 不能充分利用算力
  • Parallelized System(并行系统)通过Partitions(切分)->Workers(并行处理)->Combine(汇总), 其中Workers可以拆分成三种粒度:
    • distinct server in different locations(异地独立服务器)
    • local machine(本地机器)
    • CPU core in a machine(一台机器中的单个CPU核)

MapReduce

  • MapReduce是第一个被广泛采用的distributed big data processing(分布式大数据处理)框架
  • 关键优势:
    • 简化的编程模型: map & reduce
    • 在廉价硬件上表现出的强大scalability
    • built-in的容错能力
  • 解决了阅读海量数据的问题:
    • Map: 从每条数据/每篇文档中抽取信息
    • Shuffle and Sort: 在不同的机器之间shuffle同时交换数据和文档
    • Reduce: aggregate(聚合), summarize(汇总), filter(过滤), transform(变换)
    • Write得到最终结果, 在此过程中保持paradigm不变并且只修改map和reduce函数即可适配不同问题

Data Model

  • 在HDFS中,假设文件都以扁平形式存在(表示为无顺序的键对)
  • Map reduce program会接收这样的无顺序键对(key,value)并输出处理后的无顺序键对(key,value)

MapReduce Issues/Challenge

  • 在Map Reduce中存在以下问题:
    • 任何任务都必须拆解成Map和Reduce, 表达力受限
    • 为了容错,Map得到的结果必须先写进HDFS
    • 每次迭代必须以磁盘为总线,速度很慢
    • 同样为了容错,每份数据还必须在磁盘上保留replication,慢上加慢
  • 理想情况下, 数据操作应当基于内存进行而不是磁盘
  • 直接将内存作为总线也不可行,因为这套为磁盘设计的容错在内存上运行过于昂贵(整体读写),因此必须放弃细颗粒度的操作(精准修改)转而变为粗颗粒度(整体修改, 如filter)
  • 最终就会得到RDD

Intro to Spark

  • spark是一个用于并行数据处理的managing framework
    • 支持大规模数据处理
    • 把数据存放在内存/本机
    • 在各个worker之间安排资源
  • Spark基于弹性分布式数据集RDD运作,加快数据的读写操作

Components of Spark

  • Spark core: 大规模并行分布式数据处理的基座引擎, 负责内存管理,容错,在集群上调度/分发/监控作业,与储存系统互动
    • Spark core内嵌了RDD, RDD是一个不可变的分布式的对象集合,不进行运算
    • RDD经过Transformation变为新RDD/经过Action变为Output
  • Spark SQL: 结构上分为三层, 从下到上:
    • 数据源, 如CSV和JSON
    • Data Source API: 将不同格式的数据统一格式并输出的接口
    • Data Frame API: 在格式化的数据上进行filter/select/join等操作, 输出Data Frame
  • Spark Streaming: 轻量级API能让开发者轻松的对数据进行批处理和实时流处理,每隔一段时间就将实时数据流切割成Batch,Spark将Batch当作RDD并使用RDD操作来处理
  • Mlib: low level机器学习库,实现多种机器学习算法
  • GraphX: Spark原生的图计算引擎与图数据存储

Spark Architecture and RDD

Spark Architecture

  • Spark采用Master Slave架构,由一个运行在主节点的driver以及散布在集群的各工作节点上的executor组成

  • Driver负责创建SparkContext,分配工作
  • Cluster Manager根据SparkContext实际分配资源
  • Executer进行Task计算,缓存数据并返回结果

Resilient Distributed Datasets(RDD)

  • RDD是Spark中最基础的abstraction/object,表示一个不可变的,已分区的元素集合
  • Lazy evaluation: 算子不会立即执行,而是在内存中构建一颗运算树,只有在需要结果的时候才会真正进行计算
  • Data lineage: 记录得到结果所需的一系列数据操作
  • Immutability: RDD不能被修改,只能定义一个新的RDD

Partitions

  • 数据集如果整个处理的话可能无法装进内存, 使用行处理的话虽然灵活但是很可能比批处理慢
  • 因此Spark用户可以定义一个partition(分区)
sc.parallelize(data, 1)   # 1 个分区
sc.parallelize(data, 2)   # 2 个分区

Create RDD

  • parallelize(): 将一个local python object分发出去构成一个RDD
  • collect(): 从RDD中取出值
# from a list
rdd_data = spark.parallelize([1,2,3])
rdd_data.collect()
#output:[1,2,3]

Transformations & Actions

data = [(“A”, 1), (“B”, 2), (“A”, 3), (“B”, 5)]
 
def multipleTwoToTheValue(item):
    key, value = item
    return(key, value * 2)
 
def filterA(item):
    key, value = item
    return key == 'A'
 
spark = ss.context
rdd = spark.parallelize(data)    #创建rdd,transformation
double = rdd.map(multipleTwoToTheValue)    #将value*2,transformation
doubleA = double.filter(filterA)     #只保留key=A,transformation
doubleA.collect()    #收回结果,action
  • 整体顺序遵循parallelize → map → filter → collect
  • Narrow Transformation: 可以只靠一个partition算出来
  • Wide Transformation: 需要靠多个partition才能算出来

Job, Stage and Task

  • Spark code会被转换为一个或多个jobs,每个jobs由stage构成,而每个stage又包含若干task
  • 按照每个action切割job / 按照有没有shuffle切割stage / 按照partition的数量切割task

Data lineage

  • 转换过程的高阶轨迹(只记录操作不记录具体数据)作为逻辑计划的一部分被保存下来
  • 如csv → Filter → Aggregate
  • 如果某个分区 partition 丢了,Spark 就用这条血缘,把那些转换重新施加一遍来重算数据。
== Optimized Logical Plan ==
Aggregate [movieID#875], [movieID#875, count(1) AS count#878L]    
+- Project [movieID#875]
   +- Filter (isnotnull(rating#876) AND (cast(rating#876 as bigint) > 3))
      +- Relation [userID#874,movieID#875,rating#876] csv
  • 数据流向为从下到上

Impact of Partition Size

  • partition较大时: 启动task的开销更小,但是可能暴露不出足够的并行度,无法完全利用所有核心,占用更多内存
  • partition较小时: 启动task的开销更大,但是并行度高,每块更小,内存占用低

Caching

  • 有些RDD会被反复使用
  • 与Dask中的persist()类似,Spark也可以缓存中间结果
all_weather = …
hk_weather = all_weather.filter(…)
hk_weather.cache()    #存入缓存
...
hk_weather.unpersist()    #释放RDD
  • cache()不触发计算

Join and Partition

  • partition: 把一个大数据集切成若干个小块
  • join:将两张表按照相同的key进行配对拼成一张表(两张表必须位于同一个分区)

Fault Tolerance

  • worker failure:
    • 分配给这个worker的task会丢失
    • Spark可以用RDD的lineage information重新计算丢失的分区
    • Driver program会自动把这些任务改派给其他的可用工作节点 Driver failure:
  • 会导致应用状态以及所用正在运行的job信息全部丢失
  • 没有自动恢复机制,需要整个从头重启

链接