可做奥鹏院校所有作业，毕业论文，咨询请添加QQ：3230981406      微信：aopopenfd777

《大数据开发技术（二）》20春期末考核
 
一、单选题 (共 15 道试题,共 30 分)
1.GraphX中（）方法可以查询顶点信息
A.numVertices
B.numEdges
C.vertices
D.edges
正确答案:

2.MLlib 中可以调用mllib.tree.DecisionTree 类中的静态方法（）训练回归树
A.trainClassifier
B.trainRegressor
C.LogisticRegressionModel
D.LabeledPoint
正确答案:

3.以下哪个函数可以对RDD进行去重（）
A.sortBy
B.filter
C.distinct
D.intersection
正确答案:

4.图是一种数据元素间为（）关系的数据结构
A.多对多
B.一对一
C.一对多
D.多对一
正确答案:

5.GraphX中（）方法可以查询度数
A.degrees
B.degree
C.vertices
D.edges
正确答案:

6.Scala中（）方法返回一个列表，包含除了第一个元素之外的其他元素
A.head
B.init
C.tail
D.last
正确答案:

7.GraphX中graph.triplets可以得到（）
A.顶点视图
B.边视图
C.顶点与边的三元组整体视图
D.有向图
正确答案:

8.spark-submit配置项中（）表示启动的executor数量
A.--num-executors NUM
B.--executor-memory MEM
C.--total-executor-cores NUM
D.--executor-coures NUM
正确答案:

9.（）是AMPLab发布的一个R开发包，使得R摆脱单机运行的命运，可以作为Spark的Job运行在集群上
A.SparkR
B.BlinkDB
C.GraphX
D.Mllib
正确答案:

10.Spark GraphX中类Graph的collectNeighborIds(edgeDirection: EdgeDirection)方法可以（）
A.收集邻居顶点的顶点Id和顶点属性
B.收集邻居顶点的顶点Id
C.向指定顶点发送信息并聚合信息
D.将顶点信息更新到图中
正确答案:

11.Mllib中线性会馆算法中的参数reParam表示（）
A.要运行的迭代次数
B.梯度下降的步长
C.是否给数据加干扰特征或者偏差特征
D.Lasso 和ridge 的正规化参数
正确答案:

12.Scala列表方法中通过给定的方法将所有元素重新计算的方法是（）
A.filter
B.foreach
C.map
D.mkString
正确答案:

13.Scala函数组合器可以把一个二维的列表展开成一个一维的列表的方法是（）
A.filter
B.flatten
C.grouby
D.flatmap
正确答案:

14.GraphX中（）方法可以释放顶点缓存
A.cache
B.presist
C.unpersistVertices
D.edges.unpersist
正确答案:

15.Spark GraphX中类Graph的aggregateMessages方法可以（）
A.收集邻居顶点的顶点Id和顶点属性
B.收集邻居顶点的顶点Id
C.向指定顶点发送信息并聚合信息
D.将顶点信息更新到图中
正确答案:

二、多选题 (共 10 道试题,共 20 分)
16.MLBase包括（）
A.Mllib
B.MLI
C.SparkR
D.GraphX
正确答案:B

17.Spark创建DataFrame对象方式有（）
A.结构化数据文件
B.外部数据库
C.RDD
D.Hive中的表
正确答案:BCD

18.TF-IDF中IDF指的是（）
A.词频
B.词在文档中出现的次数
C.逆文档概率
D.词在文档集中出现的概率
E.词在文档集中出现的概率
正确正确答案:

19.Spark中DataFrame的（）方法是查询指定字段的数据信息
A.select
B.selectExpr
C.col
D.apply
正确答案:BCD

20.以下算法中属于监督学习算法的是（）
A.KNN算法
B.逻辑回归
C.随机森林
D.Kmeans
正确答案:BC

21.以下哪个方法可以从集合中创建RDD（）
A.parallelize
B.makeRDD
C.textFile
D.loadFile
正确答案:B

22.Scala函数支持（）
A.递归函数
B.高阶函数
C.柯里化
D.匿名函数
正确答案:BCD

23.GraphX中Edge边对象存有（）字段
A.srcId
B.dstId
C.attr
D.val
正确答案:BC

24.Spark中的RDD的说法正确的是（）
A.弹性分布式数据集
B.是Spark中最基本的数据抽象
C.代表一个可变的集合
D.代表的集合里面的元素可并行计算
正确答案:BD

25.Spark支持使用（）语言编写应用
A.Scala
B.Python
C.Java
D.R
正确答案:BCD

三、答案来源：（www.） (共 10 道试题,共 20 分)
26.Scala中高阶函数可以使用函数作为参数，也可以使用函数作为输出结果。
答案:正确

27.RDD的sortBy函数包含参数numPartitions，该参数决定排序后的RDD的分区个数，默认排序后的分区个数和排序之前的个数相等，即为this.partitions.size。
答案:正确

28.RDD的filter过滤会将返回值为true的过滤掉
答案:错误

29.RDD的subtract用于用于将前一个RDD 中在后一个RDD 出现的元素删除
答案:正确

30.图（Graph）是一种复杂的非线性结构
答案:正确

31.Spark中DataFrame 的查询操作也是一个懒操作， 仅仅生成一个查询计划， 只有触发Action 操作才会进行计算并返回查询结果。
答案:正确

32.RDD的map操作不会改变RDD的分区数目
答案:正确

33.Scala 集合分为可变的和不可变的集合
答案:正确

34.Spark RDD 是惰性求值的， 如果需要对一个RDD 多次使用，那么调用行动操作时每次都需要重复计算RDD 以及它的依赖。
答案:正确

35.Scala 列表与数组非常相似，列表的所有元素可具有不同的类型。
答案:错误

四、主观填空题 (共 5 道试题,共 10 分)
36.Scala函数组合器可以把一个二维的列表展开成一个一维的列表的方法是##
答案:flatten

37.Mllib中线性会馆算法中的参数reParam默认值是##
答案:1

38.假设集合A 有5 个元素，集合B 有10 个元素，使用RDDcartesian函数会返回##个元素的组合
答案:50

39.Scala中定义函数的关键字是##
正确答案:ef<br><br>

40.Spark SQL 可以通过##方法将HDFS 上的格式化文件转换为DataFrame
答案:load

五、问答题 (共 1 道试题,共 10 分)
41.请阐述Spark对数据进行持久化的特点
答案:（1） RDD 的存储级别应该根据需要以及环境具体情况设定，在RDD 参与第一次计算后，RDD 就会根据设置的存储级别保存RDD 计算后的值在内存中或磁盘上。<br>（2） 只有未曾设置存储级别的RDD 才能设置存储级别，设置了存储级别的RDD 不能修改其存储级别。<br>（3） 针对仅存储数据在内存中的存储策略，如果内存不足的话， Spark 会使用LRU 缓存策略清除最老的分区，为新的RDD 提供空间，所以缓存在内存中的RDD分区是会被清除的，而不能长久保存，而缓存在磁盘上的数据则不用担心。<br><br>

六、更多答案下载：（www.） (共 2 道试题,共 10 分)
42.SparkR
答案:SparkR是AMPLab发布的一个R开发包，使得R摆脱单机运行的命运，可以作为Spark的Job运行在集群上。

43.DStream
正确答案:Stream 即离散流(discretized stream) ，是Spark Streaming 对内部持续的实时数据流的抽象描述