忘记密码
免费注册
全部
课程
文章
帖子
用户
快捷导航
徽章
好友
帖子
收藏
道具
任务
充值
提现
课程
奖学金
抵价券
企业
学习中心
|- 我的课程
|- 我的专才计划
|- 我的普班
|- 我的快班
|- 我的关注
|- 我的专业
|- 我的求职
|- 我的招聘
|- 我的云实验室
首页
业界
培训
专才计划
特训营
课程
专业
企业服务
入职特训
创想基地
论坛
产品廊
大数据
商业智能
专家团
关于我们
入职特训计划
黄校长前沿人才培养计划
王文峰计算机视觉精英培训计划
郭一军“新DBA”精英培养计划
葛一鸣JAVA精英培养计划
人工智能专业
数据分析师专业
大数据攻城狮专业
Hadoop大数据攻城狮专业
Python数据分析师专业
全栈程序猿专业
DBA专业
企业菁英小团队培养计划
企业内训
炼数成金
›
大数据
›
Spark
订阅
Spark
大数据计算平台Spark内核全面解读
1、Spark介绍Spark是起源于美国加州大学伯克利分校AMPLab的大数据计算平台,在2010年开源,目前是Apache软件基金会的顶级项目。随着 Spark在大数据计算领域的暂露头角,越来越多的企业开始关注和使用。2014年11月,S ...
双倍提升Apache Spark排序性能
区别常见的Embarrassingly Parallel系统,类似MapReduce和Apache Spark(Apache Hadoop的下一代数据处理引擎)这样的计算引擎主要区别在于对“all-to-all” 操作的支持上。和许多分布式引擎一样,MapReduce和Spark的 ...
为大数据处理点亮一盏明灯 Spark知识系统化整理分享
Apache Spark项目于2009年诞生于伯克利大学的AMPLab实验室,当初的目的在于将内存内分析机制引入大规模数据集当中。在那个时候,Hadoop MapReduce的关注重点仍然放在那些本质上无法迭代的大规模数据管道身上。想在20 ...
Spark vs. Pig 时间缩短8倍,计算节约45%
Apache Pig是在HDFS和MapReduce之上的数据流处理语言,它将数据流处理自动转换为一个DAG(有向无环图)的MapReduce作业流去执行,为数据分析人员提供了更简单的海量数据操作接口。但是在DAG的作业流中,作业之间存在 ...
内存计算技术那家强?SPARK vs HANA
最近业界有很多技术和产品都认为属于内存计算的范畴,由于我个人也从事于内存计算产品的研发,所以想借个机会,跟各位聊聊到底什么是内存计算技术,以及比较一些现在两种比较主流的内存计算技术Apache Spark和SAP HA ...
千台Spark集群对千亿量级节点的相似度计算
相似度计算在信息检索、数据挖掘等领域有着广泛的应用,是目前推荐引擎中的重要组成部分。随着互联网用户数目和内容的爆炸性增长,对大规模数据进行相似度计算的需求变得日益强烈。在传统的MapReduce框架下进行相似度 ...
Spark:大数据的“电光石火”
Spark已正式申请加入Apache孵化器,从灵机一闪的实验室“电火花”成长为大数据技术平台中异军突起的新锐。本文主要讲述Spark的设计思想。Spark如其名,展现了大数据不常见的“电光石火”。具体特点概括为“轻、快、灵 ...
大数据计算新贵Spark在腾讯雅虎优酷成功应用解析
MapReduce由于其设计上的约束只适合处理离线计算,在实时查询和迭代计算上仍有较大的不足,而随着业务的发展,业界对实时查询和迭代分析有更多的需求,单纯依靠MapReduce框架已经不能满足业务的需求了。Spark由于其可 ...
继Cloudera之后,MapR宣布对Spark的完全支持
Spark,发源于美国加州大学伯克利分校AMPLab的集群计算平台,当下已成为Apache基金会的顶级项目。而在不久前,知名Hadoop解决方案 供应商Cloudera已宣布了其发行版对Spark的支持。毫无疑问,Spark已成为流行的大数据 ...
MapReduce褪色,Spark升起!
译者注: 本文翻译自gigaom.com的一篇技术新闻,标题为“随着MapReduce的褪色,Apache Spark现在是一个顶级项目”。原文链接在:http://gigaom.com/2014/02/27/as-mapreduce-fades-apache-spark-is-now-a-top-level- ...
Spark Streaming:大规模流式数据处理的新贵
Spark Streaming是大规模流式数据处理的新贵,将流式计算分解成一系列短小的批处理作业。本文阐释了Spark Streaming的架构及编程模型,并结合实践对其核心技术进行了深入的剖析,给出了具体的应用场景及优化方案。
对比Hadoop,Spark受多方追捧的原因
Apache Spark现在名声大噪。为支持Spark项目成立的Databricks公司从Andereessen Horowittz那里募集了1400万美元,Cloudera也已决定全力支持Spark,还有众多其它公司也积极地加入这件大事。所以我觉得这正是我应该认真 ...
低延迟大规模并行处理架构Spark简介
尽管Hadoop适合大多数批处理工作负载,而且在大数据时代成为企业的首选技术,但由于以下几个限制,它对一些工作负载并不是最优选择: 缺少对迭代的支持 需要将中间数据存在硬盘上以保持一致性,因此会有比较高的延 ...
敢为人先 优酷土豆用Spark完善大数据分析
大数据,一个似乎已经被媒体传播的过于泛滥的词汇,的的确确又在逐渐影响和改变着我们的生活。也许有人认为大数据在中国仍然只是噱头,但在 当前中国互联网领域,大数据以及大数据所催生出来的生产力正在潜移默化地推 ...
Spark:大数据的“电光石火”
Spark是发源于美国加州大学伯克利分校AMPLab的集群计算平台。它立足于内存计算,从多迭代批量处理出发,兼收并蓄数据仓库、流处理和图计算等多种计算范式,是罕见的全能选手。
1
2
3
4
5
6
7
8
/ 8 页
下一页
热门频道
大数据
商业智能
量化投资
科学探索
创业
即将开课
•
Architecting on AWS架构与实践(第六期)
•
并行化计算与CUDA编程(第三期)
•
企业级大中台从设计到实现(下)(第二期)
•
基于Flink流处理的动态实时亿级电商全端用户画像系统(第二期)
•
股票投资基础之技术分析(第15期)
•
大话流式处理系统 Flink 核心原理(第九期)
•
Python金融业数据化运营实战(第11期)
•
Java Web开发精讲(第十期)
•
Python金融投资分析实践(第16期)
•
反内卷神器之RPA特训(第一期)
•
目标检测模型YOLOV3原理及实战(第七期)
•
敏捷Agile快速入门(第八期)
•
Oracle特殊恢复原理与实战(DSI系列)(第14期)
•
Python数据可视化实战(第11期)
•
DL4CV实战——构建基于深度学习的智能图像识别系统(第14期)
•
让服务飞起来:实时计算及其应用(第16期)
•
基于Flink+Hudi构建企业亿级云上实时数据湖教程(第一期)
•
高性能高扩展的千亿级实时数据仓库全实现(第六期)
•
Cloudera Hadoop管理认证实战(第七期)
•
Tensorflow工程师职场实战技(第13期)
•
PyTorch – 深度学习全栈工程师进阶案例实战(第六期)
•
突击pyspark:数据挖掘的力量倍增器(第16期)
•
知识图谱实战(第16期)
•
股票投资高手武器系列之缠论系统(第13期)
•
locust性能测试实战(第十期)
•
JAVA极客特训(第12期)
•
模型压缩知多少(第1期)
•
人人都是数据分析师——基于SAS Viya的机器学习与深度学习案例分析(第1期)
•
用AIOps打造你的智能工作伙伴(第1期)
热门文章
•
Spark 迁移到 K8S 在有赞的实践与经验
社区热帖
GMT+8, 2021-3-4 08:46
, Processed in 0.090014 second(s), 18 queries .
关于我们
新手指南
企业合作
联系我们
订阅号
服务号
关于我们
教育模式
企业会员
电话:4008-010-006
讲师招募
选课流程
内训合作
邮箱:kefu@dataguru.cn
校园大使
学费返还
媒体合作
客服QQ:
版权声明
奖学金激励
代理合作
售后QQ:
关于我们
手机版
友情链接
站点统计
文本模式
小游戏