Google的一些工具/技术栈整理

=Start=

缘由:

前段时间在朋友圈看到了「一图了解Google工具栈」一文,学到了很多,再想起之前在学习大数据时了解到的Google三驾马车(GFS、MapReduce、BigTable),所以想着整理一下(我知道或了解的)Google公开的一些paper以及基于此的开源/商业替代方案。

正文:

参考解答:

HDFS(Hadoop分布式文件系统)
源自Google的 GFS 论文,发表于2003年10月,HDFS是 GFS 克隆版。

MapReduce(分布式计算框架)
源自Google的 MapReduce 论文,发表于2004年12月,Hadoop MapReduce是 Google MapReduce 克隆版。

HBase(分布式列式kv数据库)
源自Google的 Bigtable 论文,发表于2006年11月,HBase是 Google Bigtable 克隆版。

Zookeeper(分布式协作服务)
源自Google的 Chubby 论文,发表于2006年11月,Zookeeper是 Chubby 克隆版。

Dapper(大规模分布式系统的跟踪系统)
源自Google的 Dapper 论文,当前流行的有 Pinpoint/SkyWalking/Zipkin/CAT 等。

TiDB(一种可横向扩容且具备强一致性的关系型数据库服务)
源自Google的 Spanner 论文,当前流行的有 TiDB/Vitess/CockroachDB 等。

Drill(“交互式”大数据分析系统)
源自Google的 Dremel 论文,当前流行的有 Apache Drill/Presto 等。

Kubernetes(容器编排、集群管理系统)
源自Google的 Borg ,当前流行的有 Kubernetes/Mesos 等。

==

The Google File System
https://ai.google/research/pubs/pub51

MapReduce: Simplified Data Processing on Large Clusters
https://ai.google/research/pubs/pub62
MapReduce: The programming model and practice
https://ai.google/research/pubs/pub36249

Bigtable: A Distributed Storage System for Structured Data
https://ai.google/research/pubs/pub27898

The Chubby lock service for loosely-coupled distributed systems
https://ai.google/research/pubs/pub27897

Dapper, a Large-Scale Distributed Systems Tracing Infrastructure
https://ai.google/research/pubs/pub36356

Spanner: Google’s Globally-Distributed Database
https://ai.google/research/pubs/pub39966

Dremel
http://research.google.com/pubs/pub36632.html

Borg, Omega, and Kubernetes
https://ai.google/research/pubs/pub44843

==

# Dapper
回到网易后开源 APM 技术选型与实战
https://www.infoq.cn/article/apm-Pinpoint-practice

Dapper,大规模分布式系统的跟踪系统
https://bigbully.github.io/Dapper-translation/

几种分布式调用链监控组件的实践与比较(一)实践
https://juejin.im/post/5a0579e6f265da4326524f0f

有什么知名的开源apm(Application Performance Management)工具吗?
https://www.zhihu.com/question/27994350

==

# Spanner(一种可横向扩容且具备强一致性的关系型数据库服务)
https://research.google.com/archive/spanner-osdi2012.pdf
https://cloud.google.com/spanner/

如何看待Google的Cloud Spanner?
https://www.zhihu.com/question/55828060

==

Google的 Borg 和 Kubernetes 的不同

 

参考链接:

=END=

声明: 除非注明,ixyzero.com文章均为原创,转载请以链接形式标明本文地址,谢谢!
https://ixyzero.com/blog/archives/4379.html

发表评论

电子邮件地址不会被公开。 必填项已用*标注