本文出自:【InTheWorld的博客】 （欢迎留言、交流）
Paxos算法也许是最著名的分布式一致性算法，而Raft则大概是最流行的分布式一致性算法。由于经验和水平所限，单纯看论文感觉并不能达到更进一步的理解。前面听闻Kubernetes, Docker Swarm, CockroachDB等等牛逼的项目都在用Raft。毕竟是经过大规模生产环境考验的技术，我觉得很有必要学习一下。而且etcd的Raft实现是开源的，毕竟“源码之前，了无秘密”。
无论是Paxos还是Raft，它们都是致力于维护一个RSM(Replicated State Machine)，如上图所示。对于RSM来说，状态存储是非常关键的。在这篇博客里，我准备基于etcd的实现分析一下Raft的状态存储。Raft状态的存储主要靠Snapshot和WAL（write ahead log）实现。
了解Paxos算法的同学应该知道，Paxos算法要求Proposal ID全局唯一（且递增）。而事实上，全局唯一ID（且递增）的生成本身是需要一些技术来保证的。生成全局唯一ID的方法其实有很多，但是满足高QPS、高可用以及低延迟这些要求其实并不简单。作为一个并没有机会参与高并发系统的菜鸟，我也只能通过大厂的分享来理解和学习了。开门见山的说，本文的内容就是总结三个大型公司的生产环境的唯一ID生成方案，对于不满足条件（高QPS、高可用以及低延迟）的方法这里就先略过了。此外，可能还有很多其他先进的方法，但是碍于我知识量有限并不知道。
snowflake算法其实是一种比较简单而常见的唯一ID生成算法。MongoDB内部的ID生成算法就和sno… 【查看更多】
我之所以了解到这本书，是因为前面看Kubenetes的时候，作者提到Google使用的Borg集群管理系统。据称，Google在05年之前就开始使用Borg集群管理系统。对于这一点，我其实有些惊讶的。毕竟服务器集群编排系统其实也就是最近几年才逐渐兴起的。然后我查相关资料的时候，发现了这本书。草草翻阅了一下目录，发现这本书其实是属于DevOps的书籍。
最近几年，后端出了很多新鲜的名词，比如微服务（micro service），DevOps，Docker容器，容器编排等等。看起来好像是五花八门，但事实上都是多位一体的。关键原因是互联网服务的规模增长和标准提高，分布式后端系统不断普及。在分布式后端系统中，micro service是一种科学的架构，按照服务拆分完成分布式的架构模型。而分布式系统本身的复杂度是很高的，传统的运维方式难以保证业务的稳定，而DevOps就是为了改善这种… 【查看更多】
本文出自:【InTheWorld的博客】 （欢迎留言、交流）
Paxos算法应该是最著名的分布式一致性算法之一了。然而说起来令人汗颜，我对Paxos的算法的理解一直都是糊里糊涂的。国庆假期在看《SRE Google运维解密》，“分布式共识系统”(也就是Chubby)章节，也在强调Paxos算法。正好趁着这个机会，好好学习总结一下。
Paxos算法可以分为Basic Paxos和Multi-Paxos两种形式，它们的主要特点如下，为了对比起见，这里把它们列在一起了：
● Basic Paxos (“single decree”):
● Multi-Paxos:
最近几天的时间都在看《Docker源码分析》，买书的时候是觉得需要补补Docker原理方面的知识。因为过多的Docker书籍都偏向于使用，究其原因是Docker本身的工具属性很强。到目前为止，看完了全书大约70%的内容，关于镜像下载和管理部分的内容暂时略过了。
我对本书的整体评价不高，好在本来的期望值也不高。在我看来，这本书主要的问题在于本末倒置。cgroup和namespace作为Docker的基础技术，本书基本没怎么分析和介绍，甚至整个libcontainer都没有花多少篇幅。此外，UnionFS之类的文件系统也算是Docker作为虚拟化产品的一大特色，依然是寥寥数笔就带过了。
正如前文所说，Docker是一个工具性的产品，易用性是它的基本属性。当然这也导致了很少有用户去深入研究Docker实现方面的东西。像我这样好奇心… 【查看更多】
本文出自:【InTheWorld的博客】 （欢迎留言、交流）
Spring Cloud“全家桶”风头正劲，Hystrix作为服务容错保护组件也是挺有名气。最近我有在看一些Spring Cloud的内容，其中就包括Hystrix。这里我打算从宏观理论和微观实现两个部分来分析Hystrix。
首先是宏观理论了，先抛出两个问题。Hystrix的设计目的是什么？应该怎么完成这些目标？针对第一个问题，我们首先需要明确的是微服务架构应该是有一定的容错性的，而服务不可用的问题是客观存在的。而且这些服务错误常常会恶化和扩散，结果造成更严重的负面影响。所以在无法绝对保证服务可用性的前提下，我们需要一种机制来保护服务错误。
Hystrix的作用主要体现在一下几个方面，
session是一个非常常见的概念。session的作用是为了辅助http协议，因为http是本身是一个无状态协议。为了记录用户的状态，session机制就应运而生了。同时session也是一个非常老的概念了，使用session的方法也是多种多样。就Java来说，servlet的标准本身是包含session的，Tomcat会把session的信息存储在服务器内存里，Request提供了获取session的方法。
然而，前文所述的session机制其实是有不少缺点的。首先就是session数据没有一定的持久化机制，而且难以实现应用服务器的水平扩展。在负载均衡器 + 应用服务器集群的架构中，session共享是一个基本的要求。在Spring生态圈里，也有Spring session完成session存储和共享的功能。Spring Session支持把session信息以各种形式存储，比如数据库或者Redis。个人认为，Redis比RDBMS更加适合session数据的存储。首先，session数据都… 【查看更多】
安全认证一直都是应用非常重要的一环，并且随着移动app和SPA的不断发展，基于token的认证正不断成为主流。JSON Web Tokens是一种简单好用的认证方法，一个JWT类型的token一般由三部分组成，分别是Header、Payload和Signature，当然有时候会加一个token前缀。
以下图为例，分析一下JWT的结构：
首先，前面的“Bearer ”是token前缀，后面的内容中由两个”.”分割成为了三份。它们便分别对应Header，Payload和Signature。
MongoDB作为一种NoSQL数据库产品，其实已经非常著名了。去年，由于MongoDB安全认证的薄弱，上万家公司中招。虽然是一则负面新闻，但是也从侧面说明了MongoDB的流行程度。下图是DB-Engines统计的2017年5月全球数据库引擎使用排名。从图中可以看出，mongoDB位列总榜第五，非关系数据库第一，非常靠前的排名。
我个人对mongoDB并不是非常熟悉，但是经过一段时间的了解，对mongoDB的特性还是有了一些简单的理解，这里记录一二。
消息中间件（Message-oriented middleware）是一类基础通信软件，它可以为分布式应用或者系统提供异步、松耦合、高可靠性、可扩展并且安全的通信功能。
这段话出自《ActiveMQ in Action》，算是对消息中间件比较准确的定义。虽然这句话只有不到两行，却很值得我们仔细分析。
在分布式系统中，应用需要通过网络的方式协作。协作的典型方式就是通过RPC，RPC的实现方式有很多种，但有一点很确定——RPC是同步的。所谓的同步，是指请求返回时，请求的任务已经完成。区别于RPC这种同步的方式，消息中间件旨在实现一种异步的模式。看看下图就能发现消息中间件的异步特点。
异步模式与同步模式之间其实没有绝对的优劣，需要根据场景来讨论。比如在高并发的场景，由于同步模式的阻塞特性，可能会导致服务的… 【查看更多】
最新评论