• Raft算法实现之状态存储——基于etcd

    本文出自:【InTheWorld的博客】 (欢迎留言、交流)

    Paxos算法也许是最著名的分布式一致性算法,而Raft则大概是最流行的分布式一致性算法。由于经验和水平所限,单纯看论文感觉并不能达到更进一步的理解。前面听闻Kubernetes, Docker Swarm,  CockroachDB等等牛逼的项目都在用Raft。毕竟是经过大规模生产环境考验的技术,我觉得很有必要学习一下。而且etcd的Raft实现是开源的,毕竟“源码之前,了无秘密”。

    image

    无论是Paxos还是Raft,它们都是致力于维护一个RSM(Replicated State Machine),如上图所示。对于RSM来说,状态存储是非常关键的。在这篇博客里,我准备基于etcd的实现分析一下Raft的状态存储。Raft状态的存储主要靠Snapshot和WAL(write ahead log)实现。

    • 和很多数据库一样,为了保证数据的安全性(crash或者宕机下的恢复)
    【查看更多】
  • 高并发分布式系统唯一ID生成

    了解Paxos算法的同学应该知道,Paxos算法要求Proposal ID全局唯一(且递增)。而事实上,全局唯一ID(且递增)的生成本身是需要一些技术来保证的。生成全局唯一ID的方法其实有很多,但是满足高QPS、高可用以及低延迟这些要求其实并不简单。作为一个并没有机会参与高并发系统的菜鸟,我也只能通过大厂的分享来理解和学习了。开门见山的说,本文的内容就是总结三个大型公司的生产环境的唯一ID生成方案,对于不满足条件(高QPS、高可用以及低延迟)的方法这里就先略过了。此外,可能还有很多其他先进的方法,但是碍于我知识量有限并不知道。

    1. Twitter的snowflake算法

    snowflake算法其实是一种比较简单而常见的唯一ID生成算法。MongoDB内部的ID生成算法就和sno… 【查看更多】

  • 《SRE Google运维解密》读书笔记(部分)

    我之所以了解到这本书,是因为前面看Kubenetes的时候,作者提到Google使用的Borg集群管理系统。据称,Google在05年之前就开始使用Borg集群管理系统。对于这一点,我其实有些惊讶的。毕竟服务器集群编排系统其实也就是最近几年才逐渐兴起的。然后我查相关资料的时候,发现了这本书。草草翻阅了一下目录,发现这本书其实是属于DevOps的书籍。

    最近几年,后端出了很多新鲜的名词,比如微服务(micro service),DevOps,Docker容器,容器编排等等。看起来好像是五花八门,但事实上都是多位一体的。关键原因是互联网服务的规模增长和标准提高,分布式后端系统不断普及。在分布式后端系统中,micro service是一种科学的架构,按照服务拆分完成分布式的架构模型。而分布式系统本身的复杂度是很高的,传统的运维方式难以保证业务的稳定,而DevOps就是为了改善这种【查看更多】

  • 再学Paxos算法

    本文出自:【InTheWorld的博客】 (欢迎留言、交流)

    Paxos算法应该是最著名的分布式一致性算法之一了。然而说起来令人汗颜,我对Paxos的算法的理解一直都是糊里糊涂的。国庆假期在看《SRE Google运维解密》,“分布式共识系统”(也就是Chubby)章节,也在强调Paxos算法。正好趁着这个机会,好好学习总结一下。

    Paxos算法可以分为Basic Paxos和Multi-Paxos两种形式,它们的主要特点如下,为了对比起见,这里把它们列在一起了:

    ● Basic Paxos (“single decree”): 

    • 一个或者多个服务器发起提议 
    • 系统会在一个被选择的提议值上达成一致
    • 只有一个提议值会被选择

    ● Multi-Paxos: 

    • Multi-Paxos通过多回合的Basic Paxos算法在一列的值上形成一致,这一系列值相当于redo log,它的一致性
    【查看更多】
  • 《Docker源码分析》笔记

    最近几天的时间都在看《Docker源码分析》,买书的时候是觉得需要补补Docker原理方面的知识。因为过多的Docker书籍都偏向于使用,究其原因是Docker本身的工具属性很强。到目前为止,看完了全书大约70%的内容,关于镜像下载和管理部分的内容暂时略过了。

    • 负面评价:

    我对本书的整体评价不高,好在本来的期望值也不高。在我看来,这本书主要的问题在于本末倒置。cgroup和namespace作为Docker的基础技术,本书基本没怎么分析和介绍,甚至整个libcontainer都没有花多少篇幅。此外,UnionFS之类的文件系统也算是Docker作为虚拟化产品的一大特色,依然是寥寥数笔就带过了。

    • 正面评价:

    正如前文所说,Docker是一个工具性的产品,易用性是它的基本属性。当然这也导致了很少有用户去深入研究Docker实现方面的东西。像我这样好奇心… 【查看更多】

  • 理解Spring Cloud Hystrix

    本文出自:【InTheWorld的博客】 (欢迎留言、交流)

    hystrix-logo-tagline-640

    Spring Cloud“全家桶”风头正劲,Hystrix作为服务容错保护组件也是挺有名气。最近我有在看一些Spring Cloud的内容,其中就包括Hystrix。这里我打算从宏观理论和微观实现两个部分来分析Hystrix。

    1. Hystrix的宏观知识

    首先是宏观理论了,先抛出两个问题。Hystrix的设计目的是什么?应该怎么完成这些目标?针对第一个问题,我们首先需要明确的是微服务架构应该是有一定的容错性的,而服务不可用的问题是客观存在的。而且这些服务错误常常会恶化和扩散,结果造成更严重的负面影响。所以在无法绝对保证服务可用性的前提下,我们需要一种机制来保护服务错误。

    Hystrix的作用主要体现在一下几个方面,

    • 保护和控制底层服务的高延迟和失效对上层服务的影响。
    • 避免复杂分布式中服务失效的雪崩效应。在大型的分
    【查看更多】
  • Spring Session加Redis

    本文出自:【InTheWorld的博客】

    redis-spring-boot

    session是一个非常常见的概念。session的作用是为了辅助http协议,因为http是本身是一个无状态协议。为了记录用户的状态,session机制就应运而生了。同时session也是一个非常老的概念了,使用session的方法也是多种多样。就Java来说,servlet的标准本身是包含session的,Tomcat会把session的信息存储在服务器内存里,Request提供了获取session的方法。

    然而,前文所述的session机制其实是有不少缺点的。首先就是session数据没有一定的持久化机制,而且难以实现应用服务器的水平扩展。在负载均衡器 + 应用服务器集群的架构中,session共享是一个基本的要求。在Spring生态圈里,也有Spring session完成session存储和共享的功能。Spring Session支持把session信息以各种形式存储,比如数据库或者Redis。个人认为,Redis比RDBMS更加适合session数据的存储。首先,session数据都… 【查看更多】

  • 使用JWT实现安全认证——基于Angular2和Spring

    本文出自:【InTheWorld的博客】

    json_web_token

    全认证一直都是应用非常重要的一环,并且随着移动app和SPA的不断发展,基于token的认证正不断成为主流。JSON Web Tokens是一种简单好用的认证方法,一个JWT类型的token一般由三部分组成,分别是Header、Payload和Signature,当然有时候会加一个token前缀。

    以下图为例,分析一下JWT的结构:

    image

    首先,前面的“Bearer ”是token前缀,后面的内容中由两个”.”分割成为了三份。它们便分别对应Header,Payload和Signature。

    • Header记录token算法和类型的字段
    • Payload:记录所有数据的JSON对象,真正有效的数据都包含在这里
    • Signature:Signature是签名动作发生的地方,为了得到签名,我们使用Base64URL编码头部,接着使用Base64URL编码payoad,然后
    【查看更多】
  • MongoDB与Spring Boot

    本文出自:【InTheWorld的博客】

    MongoDB作为一种NoSQL数据库产品,其实已经非常著名了。去年,由于MongoDB安全认证的薄弱,上万家公司中招。虽然是一则负面新闻,但是也从侧面说明了MongoDB的流行程度。下图是DB-Engines统计的2017年5月全球数据库引擎使用排名。从图中可以看出,mongoDB位列总榜第五,非关系数据库第一,非常靠前的排名。

    db_engine_ranking

    我个人对mongoDB并不是非常熟悉,但是经过一段时间的了解,对mongoDB的特性还是有了一些简单的理解,这里记录一二。

    1. 首先,mongoDB作为一种非关系型数据库,它最大的特点就是Schema非常的弱。换而言之,mongoDB的升级以及应用的重构会变得比较简单。
    2. 其次,mongoDB使用了文档型的存储结构,数据接口则非常接近于JSON。JSON这种数据结构不仅简单而且也是非常流行的网络传输格式。
    【查看更多】
  • 理解消息中间件

    本文出自:【InTheWorld的博客】

    消息中间件(Message-oriented middleware)是一类基础通信软件,它可以为分布式应用或者系统提供异步、松耦合、高可靠性、可扩展并且安全的通信功能。

    这段话出自《ActiveMQ in Action》,算是对消息中间件比较准确的定义。虽然这句话只有不到两行,却很值得我们仔细分析。

    1. 异步性

    image

    在分布式系统中,应用需要通过网络的方式协作。协作的典型方式就是通过RPC,RPC的实现方式有很多种,但有一点很确定——RPC是同步的。所谓的同步,是指请求返回时,请求的任务已经完成。区别于RPC这种同步的方式,消息中间件旨在实现一种异步的模式。看看下图就能发现消息中间件的异步特点。

    image

    异步模式与同步模式之间其实没有绝对的优劣,需要根据场景来讨论。比如在高并发的场景,由于同步模式的阻塞特性,可能会导致服务的【查看更多】