• word2vec学习笔记——CS224n

    = 22

    CS224n是斯坦福大学的一门关于自然语言处理的公开课。课程的第二讲的主要内容就是word2vec。word2vec是Google在2013年发布的一门自然语言处理技术。

    词向量一般有两种形式,一种叫做One-hot表示,另外一种叫做Distributed Representation。word2vec就属于第二类。word2vec这种词向量表示方法,可以通过计算欧式距离等来判断它们之间的相似度。word2vec本质上属于一种神经网络语言模型范畴的技术,这一点和n-gram、决策树等等这些统计语言模型还是有不少区别的。

    1. Log-Linear模型

    Log-linear模型算是word[……]

    Read more

  • 图片加载库Glide的“经验型”用法

    = 175

    本文出自:【InTheWorld的博客】 (欢迎留言、交流)

    Glide算是Android开发中比较常见的一个开源库了,它使用起来非常简单。说实话,图片加载我基本只用了Glide,因为我的许多看似复杂的需求,在Glide的框架下都能比较轻松的实现。因此,我根本没有心思去趟其他的坑,而且在实现的过程中也发现,Glide的设计是非常棒的,简单的API、很强的扩展性都让我非常满意。

    写这篇blog的出发点不是Glide的基本教学,而是总结本人的经验性用法。因此,本文的逻辑和结构都会比较松散,还望看官海涵。

    1. 自定义ModelLoader

    在有些情况下,我们需要自定义ModelLoader[……]

    Read more

  • 高并发分布式系统唯一ID生成

    = 791

    了解Paxos算法的同学应该知道,Paxos算法要求Proposal ID全局唯一(且递增)。而事实上,全局唯一ID(且递增)的生成本身是需要一些技术来保证的。生成全局唯一ID的方法其实有很多,但是满足高QPS、高可用以及低延迟这些要求其实并不简单。作为一个并没有机会参与高并发系统的菜鸟,我也只能通过大厂的分享来理解和学习了。开门见山的说,本文的内容就是总结三个大型公司的生产环境的唯一ID生成方案,对于不满足条件(高QPS、高可用以及低延迟)的方法这里就先略过了。此外,可能还有很多其他先进的方法,但是碍于我知识量有限并不知道。

    1. Twitter的snowflake算法

    snowflak[……]

    Read more

  • 《SRE Google运维解密》读书笔记(部分)

    = 109

    我之所以了解到这本书,是因为前面看Kubenetes的时候,作者提到Google使用的Borg集群管理系统。据称,Google在05年之前就开始使用Borg集群管理系统。对于这一点,我其实有些惊讶的。毕竟服务器集群编排系统其实也就是最近几年才逐渐兴起的。然后我查相关资料的时候,发现了这本书。草草翻阅了一下目录,发现这本书其实是属于DevOps的书籍。

    最近几年,后端出了很多新鲜的名词,比如微服务(micro service),DevOps,Docker容器,容器编排等等。看起来好像是五花八门,但事实上都是多位一体的。关键原因是互联网服务的规模增长和标准提高,分布式后端系统不断普及。在分布[……]

    Read more

  • 再学Paxos算法

    = 393

    本文出自:【InTheWorld的博客】 (欢迎留言、交流)

    Paxos算法应该是最著名的分布式一致性算法之一了。然而说起来令人汗颜,我对Paxos的算法的理解一直都是糊里糊涂的。国庆假期在看《SRE Google运维解密》,“分布式共识系统”(也就是Chubby)章节,也在强调Paxos算法。正好趁着这个机会,好好学习总结一下。

    Paxos算法可以分为Basic Paxos和Multi-Paxos两种形式,它们的主要特点如下,为了对比起见,这里把它们列在一起了:

    ● Basic Paxos (“single decree”): 

    • 一个或者多个服务器发起提议 
    • 系统会在一个被[……]

    Read more

  • 《Docker源码分析》笔记

    = 159

    最近几天的时间都在看《Docker源码分析》,买书的时候是觉得需要补补Docker原理方面的知识。因为过多的Docker书籍都偏向于使用,究其原因是Docker本身的工具属性很强。到目前为止,看完了全书大约70%的内容,关于镜像下载和管理部分的内容暂时略过了。

    • 负面评价:

    我对本书的整体评价不高,好在本来的期望值也不高。在我看来,这本书主要的问题在于本末倒置。cgroup和namespace作为Docker的基础技术,本书基本没怎么分析和介绍,甚至整个libcontainer都没有花多少篇幅。此外,UnionFS之类的文件系统也算是Docker作为虚拟化产品的一大特色,依然是寥寥数笔就带[……]

    Read more

  • Innodb存储引擎中锁的简析

    = 477

    mariadb

    基本概念

    innodb是MySQL/MariaDB的默认存储引擎,也是最广泛使用的存储引擎。几年前研究MySQL实现的时候,也看过一本关于innodb的书,但是理解并不到位。最近计划补充一下存储方面的知识,这里就从innodb入手研究一下。对于一个五级数据库引擎(实现事务功能),锁的设计是非常重要的,这篇博客的主题也就是学习innodb中锁。

    innodb中有不少锁,这篇blog主要研究一下几个点,前两点是锁的模式,后两个知识点是锁的类型。这里我想强调一下,锁的模式和锁的类型是两个概念,千万不要搞混了。很多资料上,包括MySQL的官方文档上,都把这些知识点混在一起,给我带来了不少困[……]

    Read more

  • 初步学习分布式数据库

    = 417

    写本文的初衷是由于最近在看《大规模分布式存储系统》,期间有不少疑问以及一些新的认识。这里就准备把自己的疑问和认识记录一下,供以后回炉知识点。这里行文的逻辑大致是以不同的数据库产品或者技术展开,可能会显得比较乱。而且,就目前来说,我对各种分布式数据库的理解都还很肤浅,本文权当自娱自乐了,摘抄很多。

    1. Hbase/BigTable

    作者在书中把Hbase定义为分布式表格系统,其实也没有什么毛病。Hbase的事务支持相当有限,只支持行级事务。Hbase的系统架构图如下:

    Hbase

    Client:包含访问HBase的接口,并维护cache来加快对HBase的访问,比如region的位置信息

    Ma[……]

    Read more

  • 理解Spring Cloud Hystrix

    = 686

    本文出自:【InTheWorld的博客】 (欢迎留言、交流)

    hystrix-logo-tagline-640

    Spring Cloud“全家桶”风头正劲,Hystrix作为服务容错保护组件也是挺有名气。最近我有在看一些Spring Cloud的内容,其中就包括Hystrix。这里我打算从宏观理论和微观实现两个部分来分析Hystrix。

    1. Hystrix的宏观知识

    首先是宏观理论了,先抛出两个问题。Hystrix的设计目的是什么?应该怎么完成这些目标?针对第一个问题,我们首先需要明确的是微服务架构应该是有一定的容错性的,而服务不可用的问题是客观存在的。而且这些服务错误常常会恶化和扩散,结果造成更严重的负面影响。所以在无法绝对保证[……]

    Read more

  • 基于OpenGL ES实现多媒体全景渲染

    = 1208

    本文出自:【InTheWorld的博客】 (欢迎留言、交流)

    panorama

    近几年来,VR型的多媒体变得越来越常见。在YouTube上就有很多360度视频,很多地图产品也提供全景街道图。作为开发者,我们不禁要想如何实现多媒体的全景渲染呢?

    其实,渲染VR的多媒体其实并不难,这里就以360度视频为例介绍一下。我也没有尝试过从头写一个360视频渲染库(目前能力和精力都不太允许),所以这篇博客其实是基于开源库的——https://github.com/ashqal/MD360Player4Android。此外,我不准备详细去介绍这个库怎么使用,而是基于它分析整个渲染流程。

    全景视频一般由鱼眼镜头产生,鱼[……]

    Read more

第 1 页,共 8 页12345...最旧 »