事务与分布式事务原理与实现1(笔记)

1. 事务简介

事务的核心是锁与并发

事务单元之间由于访问对象的互斥性,会造成等待。事务单元之间的关系就4种:即读写、写读、读读、写写

处理多个事务单元的方法:

排队:优点是不需要冲突控制,缺点是一个事务慢了,所有的事务都慢了

并行处理:不冲突的事务单元可以并行执行。共享数据有冲突可以采用排他锁

读并行:在2的基础上,对读的操作都可以并行。采用读写锁。读锁就是共享锁,读操作可以并行化。

读写并行:读的时候不加读锁,写可以直接写,取消读。代价是读可能存在不一致。

为了完成第四点,写不阻塞读,就采用了新的 读写并发策略,即现在主流数据库实现的方式:

MV......

阿里分布式开放消息服务(ONS)原理与实践2(笔记)

1. 相关概念

主题(Topic):指的是第一级的消息类型。例如实际中主题可以是“交易消息”

消息类型(Tag):第二级消息类型。例如在交易消息的主题下,可以有交易创建和交易完成两个Tag(更加细致的去检索分类消息)

以上两种比较常见

发送/订阅组(ProducerID/ConsumerID):方便收缩一个订阅或者服务组集群的机器。注意这里的消费是不广播的,只发给一台机器

2.消息乱序问题

2.1 产生原因

权衡 吞吐+容错 VS 方便 容易理解(性能往往较差)

顺序同步的方式吞吐量上不去,收到单机的限制。

2.2 有序队列优劣分析

优势: ......

阿里分布式开放消息服务(ONS)原理与实践1(笔记)

1介绍

本位仅仅做笔记记录使用

2.OMS应用场景

异步

解耦

最终一致

并行

例子

3. 设计思路

考虑到任何一台机器都可能down掉

任何一个利集群都可能处理能力不足

最坏情况一定会发生

内网环境需要低延迟

4. 关键设计

基于第三点的设计时考虑到的问题,我们需要解决以下四个关键问题

无单点集群化设计: 所有发布者,消......

阿里分布式数据库服务实践(笔记)

1.介绍

阿里的沈洵在youku分享了一系列技术讲座视频,表示对这种分享精神表示感谢。本文仅仅做为笔记使用

2.基本介绍

DRDS分布式数据库引擎起源于cobra(已经开源,点击查看)和TDDL。

主要复用了cobar proxy中两块重要代码:

Server 协议层

Sql解析器

cobar更加侧重服务解析、SQL解析,而TDDL则侧重支持分布式的连接和聚集操作

DRDS相比TDDL的优势:

简化配置,像操作一个数据库一样操作分布式数据库

单机数据库问题:

容量瓶颈

事务数瓶颈

读取瓶颈

经验:良好的架构设计优化远......

mapreduce,storm和spark开源分布式计算框架比较

1. 概览

目前流行的分布式计算框架主要有 Hadoop MapReduce, Spark Streaming, Storm; 这三个框架各有优势,现在都属于 Apache 基金会下的顶级项目,下文将对三个框架的特点与适用场景进行分析,以便开发者能快速选择适合自己的框架进行开发。

Hadoop MapReduce 是三者中出现最早,知名度最大的分布式计算框架,最早由 Google Lab 开发,使用者遍布全球(Hadoop PoweredBy);主要适用于大批量的集群任务,由于是批量执行,故时效性偏低,原生支持 Java 语言开发 MapReduce ,其它语言需要使用到 Hado......