博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Google抛弃MapReduce使用Cloud Dataflow
阅读量:4575 次
发布时间:2019-06-08

本文共 1251 字,大约阅读时间需要 4 分钟。

2004年Google发表了一篇非常具有影响力的论文向全世界介绍了MapReduce框架,该框架可以把一个应用程序分解为许多并行计算指令,跨大量的计算节点运行非常巨大的数据集。时至今日,MapReduce已经成为并行分布式计算领域的一个高度流行的基础设施和编程模型,它是Apache Hadoop的基础,被很多知名厂商所使用为其客户提供优质的数据服务。但是从最近在San Francisco召开的Google I/O大会上获悉Google已经抛弃了MapReduce框架转而使用一个新的云分析系统,它的名字叫做Cloud Dataflow。来自于Data Center Knowledge的 就发表了对此做了介绍,下面是编者按照其文章组织的一些内容。

Google之所以抛弃MapReduce的原因很可能是它已经难以处理Google目前所要分析的数据量了。Mountain View公司负责技术基础设施的高级副总裁Urs Hölzle说:一旦数据量达到了PB级MapReduce就会变得难以处理。在San Francisco召开的Google I/O大会上Hölzle做了一个主题演讲,他提到他们从几年之前就已经不再使用MapReduce了。

对于Cloud Dataflow Google将会把它作为云平台上的一个服务提供给开发者,这些服务并没有MapReduce那样的扩展限制。Hölzle说“Cloud Dataflow是十多年分析经验的结晶,它将比市面上任何其他的系统运行的更快,扩展性也更好”。

“Cloud Dataflow是一个完全托管的服务,它能够自动优化、部署、管理和扩展。它能够让开发者很容易地使用统一的编程为批处理和流服务创建复杂的管道”Hölzle表示。

谷歌想到的这些所有的特性处理都无法在MapReduce上完成:它很难迅速地获取数据,它需要很多不同的技术,批处理和流无关,同时还需要部署并运维MapReduce集群。

Hölzle还在他的主题演讲上展示了谷歌云平台上的一些其他的新服务:

  • Cloud Save是一个API,它使应用程序能够将单个用户的数据保存在云端或其他地方,同时使用它不需要任何服务器端的编码。 Google PaaS(提供App Engine)用户和IaaS(提供Compute Engine)用户都可以利用这个特性构建App。
  • Cloud Debugging 让开发者能够更容易地筛选出部署在云端多台服务器上的软件代码中的bug。
  • Cloud Tracing 提供了不同组之间的延迟统计(例如数据库服务调用的延迟)和分析报告。
  • Cloud Monitoring 是一款智能监控系统,它是与Stackdriver()集成而产生的结果。该系统监控云基础设施资源,例如磁盘和虚拟机,还有Google服务的服务级别以及十几个非谷歌提供的开源软件包。

转载于:https://www.cnblogs.com/scwanglijun/p/3815801.html

你可能感兴趣的文章
函数PARSENAME使用和截取字符串
查看>>
关乎性能的判断,请作出果断选择
查看>>
判断是否包含指定的字符
查看>>
[Html5] HTML5 开发手机应用
查看>>
[工具] 各种主流 SQLServer 迁移到 MySQL 工具对比
查看>>
(二)Maven 基本概念——依赖、生命周期、仓库管理、聚合&继承
查看>>
py4CV例子3Mnist识别和ANN
查看>>
【4Opencv】如何识别出轮廓准确的长和宽
查看>>
现货黄金交易计划摸索
查看>>
Django中国|Django中文社区——python、django爱好者交流社区
查看>>
java中的toArray()
查看>>
java数据库之JDBC
查看>>
C语言 strcpy,memcpy,memmove,memccpy函数
查看>>
SqlSession 内部运行
查看>>
C语言一个小程序的bug疑问 数组相关[已解决]
查看>>
空指针与野指针的区别
查看>>
Ubuntu的root用户问题
查看>>
Linux启动新进程的几种方法及比较[转]
查看>>
使用Python定义类及创建对象
查看>>
[SoapUI] 比较两个不同环境下的XML Response, 从外部文件读取允许的偏差值,输出结果到文本文件...
查看>>