veiasai / paper-notebook Goto Github PK

https://ipads.se.sjtu.edu.cn/lib/exe/fetch.php?media=publications:cloudvisor-sosp2011.pdf

Alphago

https://www.usenix.org/system/files/conference/osdi14/osdi14-paper-pillai.pdf

https://www.usenix.org/conference/osdi18/presentation/berger

https://web.stanford.edu/~ouster/cgi-bin/papers/raft-atc14

http://static.googleusercontent.com/media/research.google.com/zh-CN//archive/bigtable-osdi06.pdf

http://www.cnblogs.com/lhfcws/archive/2013/07/24/3212567.html

Large-scale cluster management at Google with Borg

Apollo: Scalable and Coordinated Scheduling for Cloud-Scale Computing

Apache Hadoop YARN: Yet Another Resource Negotiator

Omega: flexible, scalable schedulers for large compute clusters

Mesos: A Platform for Fine-Grained Resource Sharing in the Data Center

https://dl.acm.org/citation.cfm?doid=3132747.3132763

GFS：http://nil.csail.mit.edu/6.824/2017/papers/gfs.pdf
别人的笔记：
https://blog.csdn.net/luoyhang003/article/details/72229121

Abstract
The Paxos algorithm, when presented in plain English, is very simple

1984年发表，在硬盘block增大时，对文件系统的一些优化。

假期里读的一篇paper，描述了Borg怎么做集群管理。
简单易懂，但又没什么干货，不知道怎么做到支持10K这个数量级，这算是一个相当大的集群了。也不知道单点故障怎么转移，尤其是有状态服务。
调度器选择节点时，不会检查所有节点，先随机的选择一些节点，再在这个集合里面找满足条件的节点去 分配任务。
任务是用Paxos一致性存储算法，维护一个任务队列。
Borg是Master/Slave，要支持大量节点，Master的资源需求很大，10～14个cpu core， up to 50 GiB RAM。Master有五个副本，里面会选举leader。

cse课程内容

看调度器的时候，文章里提到的一种算法。

https://www.usenix.org/system/files/conference/osdi16/osdi16-shi.pdf

happens-before
https://blog.csdn.net/zdxiq000/article/details/60874848

《容器即服务》中关于mesos的部分：
两级调度器，主从架构，Zookeeper做存储（Paxos算法，这个应该相当etcd），
虽然很早就支持了容器，但是之前的设计并未如容器那样独立（磁盘共享）
Marathon是其上一种流行服务框架。
服务框架指“运行在Mesos内核上的一种程序”。
看起来就像是两级调度的第二级，第一级是Mesos master。
可以自己编写服务框架，大体上有调度器和执行器就可以，但它也可以有web界面等一切其他组件。
Marathon读取外部配置，执行任务。（有点像kubelet）
Spark、Kafka、Aurora、Swan都可以作为服务框架使用。

相对来说，Mesos比较笨重，不够容器化，部署也烦琐。
但发展比较久，能统一多种计算框架。

https://arxiv.org/pdf/1804.05141.pdf

https://www.usenix.org/system/files/conference/usenixsecurity17/sec17-zhang.pdf

http://www.news.cs.nyu.edu/~jinyang/pub/ic3-sigmod16.pdf

https://ipads.se.sjtu.edu.cn/lib/exe/fetch.php?media=publications:drtm-sosp15.pdf