炼数成金 › 大数据›Spark

Spark

SparkInAction 图计算用户关系染色分析: 前言需求：如果一个用户使用了某个手机，这个手机上登录过其他的用户，那么这些用户是有关系的，同样用户关联到的用户又可以通过手机关联到其他用户这样就构成了一个强大的关系网。现在给出用户与手机登录关系表，请 ...

SparkR：数据科学家的新利器: R是数据科学家中最流行的编程语言和环境之一，在Spark中加入对R的支持是社区中较受关注的话题。作为增强Spark对数据科学家群体吸引力的最新举措，最近发布的Spark 1.4版本在现有的Scala/Java/Python API之外增加了R ...

Cloudera旨在以Spark取代MapReduce作为默认Hadoop框架: 因为Spark的项目比Hadoop项目更活跃大约为50%，所以Cloudera今天宣布它正努力地使Spark取代默认的Hadoop数据处理框架。Apache Spark内存计算框架更接近于Apache Hadoop，Cloudera今天宣布它正努力地使Spark取代默认 ...

Apache Spark 1.5新特性介绍: Apache Spark社区刚刚发布了1.5版本，大家一定想知道这个版本的主要变化，这篇文章告诉你答案。DataFrame执行后端优化（Tungsten第一阶段）DataFrame可以说是整个Spark项目最核心的部分，在1.5这个开发周期内最大的 ...

Apache Spark在大规模分布式自然语言处理的应用: TripAdvisor基于自然语言构建回归模型预测用户对每个问题回答“是”或“不是”的概率。不仅用带有标签的地点评价数据训练模型，还使用了大量未标记的数据。基于Spark技术，处理所有这些数据的过程显得简洁易懂。我们 ...

Spark大数据分析框架的核心部件: Spark大数据分析框架的核心部件包含RDD内存数据结构、Streaming流计算框架、GraphX图计算与网状数据挖掘、MLlib机器学习支持框架、Spark SQL数据检索语言、Tachyon文件系统、SparkR计算引擎等主要部件。这里做一个 ...

Spark与Flink：对比与分析: Spark是一种快速、通用的计算集群系统，Spark提出的最主要抽象概念是弹性分布式数据集(RDD)，它是一个元素集合，划分到集群的各个节点上，可以被并行操作。用户也可以让Spark保留一个RDD在内存中，使其能在并行操作 ...

Spark 和 Hadoop 不是敌人，是朋友: Spark 投资的良性循环会使 Spark 技术发展更加成熟，并且可以从整个大数据环境中获益。然而，Spark 的快速增长给人们一个奇怪且固执的误解：Spark 将取代 Hadoop，而不是作为 Hadoop 的补充。这样的误解可以从类似“ ...

新手福利：Apache Spark入门攻略: 本文聚焦Apache Spark入门，了解其在大数据领域的地位，覆盖Apache Spark的安装及应用程序的建立，并解释一些常见的行为和操作。【编者按】时至今日，Spark已成为大数据领域最火的一个开源项目，具备高性能、易于使 ...

详解Spark衍生的Tachyon分布式内存文件系统在互联网巨头实战应用: Tachyon是Spark生态系统内快速崛起的一个新项目。本质上，Tachyon是个分布式的内存文件系统，它在减轻Spark内存压力的同时，也赋予了Spark内存快速大量数据读写的能力。Tachyon把内存存储的功能从Spark中分离出来， ...

Databircks连城：Spark SQL结构化数据分析: 在Spark 1.3.0以Spark SQL原有的SchemaRDD为蓝本，引入了Spark DataFrame API，不仅为Scala、Python、Java三种语言环境提供了形如R和Pandas的API，并且继承了Spark SQL的分布式处理能力。

Storm vs Spark：谁才是我们的大数据实时处理利器: 作为一套专门用于事件流处理的分布式计算框架,Storm有时候也被人们称为实时处理领域的Hadoop。作为另一个专门面向实时分布式计算任务的项目，Spark与Storm类似，Spark也支持面向流的处理机制，不过这是一套更具泛用 ...

ALS 在 Spark MLlib 中的实现: 深受用户喜爱的大数据处理平台 Apache Spark 1.3 于前不久发布，MLlib 作为 Spark 负责机器学习（ML）的核心组件在 1.3 中添加了不少机器学习及数据挖掘的算法：研究主题分布的 latent Dirichlet allocation （LDA ...

Spark生态系统解析及基于Redis的开源分布式服务Codis: 1月24日，一场基于Spark和Redis组成的分布式系统实践分享由Spark资深布道者陈超和豌豆荚资深系统架构师刘奇联手打造。陈超：Spark Ecosystem Internals陈超（@CrazyJvm），Spark布道者在分享中，陈超首先简短的介绍 ...

Spark新年福音：一个用于大规模数据科学的API——DataFrame: 文章翻译自Introducing DataFrames in Spark for Large Scale Data Science，作者Reynold Xin（辛湜，@hashjoin），Michael Armbrust，Davies Liu。以下为译文今天，我们正式宣布Spark新的API——DataFrame 。作为20 ...

1 2 3 4 567 8 / 8 页下一页

热门频道

大数据
商业智能

量化投资
科学探索
创业

即将开课

热门文章

• Spark 迁移到 K8S 在有赞的实践与经验

社区热帖

GMT+8, 2021-3-4 07:36 , Processed in 0.182683 second(s), 16 queries .