本文作者:okx

加密货币与区块链,区块链同步需要多少内存(区块链数据同步)

okx 06-21 28
加密货币与区块链,区块链同步需要多少内存(区块链数据同步)摘要: 一、区块链同步需要多少内存(区块链数据同步)【区块链】什么是区块链钱包?提起区块链钱包我们就不得不谈到比特币钱包(Bitcoincore),其他区块链钱包大多都是仿照比特币钱包做的...

加密货币与区块链,区块链同步需要多少内存(区块链数据同步)

一、区块链同步需要多少内存(区块链数据同步)

【区块链】什么是区块链钱包?

提起区块链钱包我们就不得不谈到比特币钱包(Bitcoincore),其他区块链钱包大多都是仿照比特币钱包做的,比特币钱包是我们管理比特币的工具。

比特币钱包里存储着我们的比特币信息,包括比特币地址(类似于你的银行卡账号)、私钥(类似于你的银行卡密码),比特币钱包可以存储多个比特币地址以及每个比特币地址所对应的独立私钥。

比特币钱包的核心功能就是保护你的私钥,如果钱包丢失你将可能永远失去你的比特币。

区块链钱包有很多种形态。

根据用户是否掌握私钥可将钱包分为:链上钱包(onchainwallet)和托管钱包(offchainwallet)。他们之间有如下两点区别:

关于链上钱包(onchainwallet)我们又可根据私钥存储是否联网划分为冷钱包和热钱包;冷钱包和热钱包我们也称之为离线钱包和在线钱包。

通常所说的硬件钱包就属于冷钱包(一般准备长期持有的大额数字货币建议使用冷钱包存放),除了这种专业的设备我们还可以使用离线的电脑、手机、纸钱包、脑钱包等作为冷钱包存储我们的数字资产。

冷钱包最大优点就是安全,因为它不触网的属性可以大大降低黑客攻击的可能性;唯一需要担心就是不要把自己的冷钱包弄丢即可。

与冷钱包相对应的就是热钱包,热钱包是需要联网的;热钱包又可分为桌面钱包、手机钱包和网页钱包。

热钱包往往是在线钱包的形式,因此在使用热钱包时最好在不同平台设置不同密码,且开启二次认证确保自己的资产安全。

根据区块链数据的维护方式和钱包的去中心化程度又可将钱包分为全节点钱包、轻节点钱包、中心化钱包。

全节点钱包大部分都属于桌面钱包,其中的代表有Bitcoin-Core核心钱包、Geth、Parity等等,此类钱包需要同步所有区块链数据,占用很大的内存,但可以实现完全去中心化。

而手机钱包和网页钱包大部分属于轻节点钱包,轻钱包依赖区块链网络中的其他全节点,仅同步与自己相关的交易数据,基本可以实现去中心化。

中心化钱包不依赖区块链网络,所有的数据均从自己的中心化服务器中获取;但是交易效率很高,可以实时到账,你在交易平台中注册的账号就是中心化钱包。

记住在区块链的世界里谁掌握私钥谁才是数字资产真正的主人。

全局节点什么意思

全节点是是拥有完整区块链账本的节点,全节点需要占用内存同步所有的区块链数据,能够独立校验区块链上的所有交易并实时更新数据,主要负责区块链的交易的广播和验证。

请问,大学生区块链本科专业,电脑需要什么样的配置够用?

学生的电脑普通电脑配置就够用了,三四千块钱的台式机用起来就不错

什么是区块链扩容?

普通用户能够运行节点对于区块链的去中心化至关重要

想象一下凌晨两点多,你接到了一个紧急呼叫,来自世界另一端帮你运行矿池(质押池)的人。从大约14分钟前开始,你的池子和其他几个人从链中分离了出来,而网络仍然维持着79%的算力。根据你的节点,多数链的区块是无效的。这时出现了余额错误:区块似乎错误地将450万枚额外代币分配给了一个未知地址。

一小时后,你和其他两个同样遭遇意外的小矿池参与者、一些区块浏览器和交易所方在一个聊天室中,看见有人贴出了一条推特的链接,开头写着“宣布新的链上可持续协议开发基金”。

到了早上,相关讨论广泛散布在推特以及一个不审查内容的社区论坛上。但那时450万枚代币中的很大一部分已经在链上转换为其他资产,并且进行了数十亿美元的defi交易。79%的共识节点,以及所有主要的区块链浏览器和轻钱包的端点都遵循了这条新链。也许新的开发者基金将为某些开发提供资金,或者也许所有这些都被领先的矿池、交易所及其裙带所吞并。但是无论结果如何,该基金实际上都成为了既成事实,普通用户无法反抗。

或许还有这么一部主题电影。或许会由MolochDAO或其他组织进行资助。

这种情形会发生在你的区块链中吗?你所在区块链社区的精英,包括矿池、区块浏览器和托管节点,可能协调得很好,他们很可能都在同一个telegram频道和微信群中。如果他们真的想出于利益突然对协议规则进行修改,那么他们可能具备这种能力。以太坊区块链在十小时内完全解决了共识失败,如果是只有一个客户端实现的区块链,并且只需要将代码更改部署到几十个节点,那么可以更快地协调客户端代码的更改。能够抵御这种社会性协作攻击的唯一可靠方式是“被动防御”,而这种力量来自去一个中心化的群体:用户。

想象一下,如果用户运行区块链的验证节点(无论是直接验证还是其他间接技术),并自动拒绝违反协议规则的区块,即使超过90%的矿工或质押者支持这些区块,故事会如何发展。

如果每个用户都运行一个验证节点,那么攻击很快就会失败:有些矿池和交易所会进行分叉,并且在整个过程中看起来很愚蠢。但是即使只有一些用户运行验证节点,攻击者也无法大获全胜。相反,攻击会导致混乱,不同用户会看到不同的区块链版本。最坏情况下,随之而来的市场恐慌和可能持续的链分叉将大幅减少攻击者的利润。对如此旷日持久的冲突进行应对的想法本身就可以阻止大多数攻击。

Hasu关于这一点的看法:

“我们要明确一件事,我们之所以能够抵御恶意的协议更改,是因为拥有用户验证区块链的文化,而不是因为PoW或PoS。”

假设你的社区有37个节点运行者,以及80000名被动监听者,对签名和区块头进行检查,那么攻击者就获胜了。如果每个人都运行节点的话,攻击者就会失败。我们不清楚针对协同攻击的启动群体免疫的确切阈值是多少,但有一点是绝对清楚的:好的节点越多,恶意的节点就越少,而且我们所需的数量肯定不止于几百几千个。

那么全节点工作的上限是什么?

为了使得有尽可能多的用户能够运行全节点,我们会将注意力集中在普通消费级硬件上。即使能够轻松购买到专用硬件,这能够降低一些全节点的门槛,但事实上对可扩展性的提升并不如我们想象的那般。

全节点处理大量交易的能力主要受限于三个方面:

算力:在保证安全的前提下,我们能划分多少CPU来运行节点?

带宽:基于当前的网络连接,一个区块能包含多少字节?

存储:我们能要求用户使用多大的空间来进行存储?此外,其读取速度应该达到多少?(即,HDD足够吗?还是说我们需要SSD?)

许多使用“简单”技术对区块链进行大幅扩容的错误看法都源自于对这些数字过于乐观的估计。我们可以依次来讨论这三个因素:

算力

错误答案:100%的CPU应该用于区块验证

正确答案:约5-10%的CPU可以用于区块验证

限制之所以这么低的四个主要原因如下:

我们需要一个安全边界来覆盖DoS攻击的可能性(攻击者利用代码弱点制造的交易需要比常规交易更长的处理时间)

节点需要在离线之后能够与区块链同步。如果我掉线一分钟,那我应该要能够在几秒钟之内完成同步

运行节点不应该很快地耗尽电池,也不应该拖慢其他应用的运行速度

节点也有其他非区块生产的工作要进行,大多数是验证以及对p2p网络中输入的交易和请求做出响应

请注意,直到最近大多数针对“为什么只需要5-10%?”这一点的解释都侧重于另一个不同的问题:因为PoW出块时间不定,验证区块需要很长时间,会增加同时创建多个区块的风险。这个问题有很多修复方法,例如BitcoinNG,或使用PoS权益证明。但这些并没有解决其他四个问题,因此它们并没有如许多人所料在可扩展性方面获得巨大进展。

并行性也不是灵丹妙药。通常,即使是看似单线程区块链的客户端也已经并行化了:签名可以由一个线程验证,而执行由其他线程完成,并且有一个单独的线程在后台处理交易池逻辑。而且所有线程的使用率越接近100%,运行节点的能源消耗就越多,针对DoS的安全系数就越低。

带宽

错误答案:如果没2-3秒都产生10MB的区块,那么大多数用户的网络都大于10MB/秒,他们当然都能处理这些区块

正确答案:或许我们能在每12秒处理1-5MB的区块,但这依然很难

如今,我们经常听到关于互联网连接可以提供多少带宽的广为传播的统计数据:100Mbps甚至1Gbps的数字很常见。但是由于以下几个原因,宣称的带宽与预期实际带宽之间存在很大差异:

“Mbps”是指“每秒数百万bits”;一个bit是一个字节的1/8,因此我们需要将宣称的bit数除以8以获得字节数。

网络运营商,就像其他公司一样,经常编造谎言。

总是有多个应用使用同一个网络连接,所以节点无法独占整个带宽。

P2P网络不可避免地会引入开销:节点通常最终会多次下载和重新上传同一个块(更不用说交易在被打包进区块之前还要通过mempool进行广播)。

当Starkware在2019年进行一项实验时,他们在交易数据gas成本降低后首次发布了500kB的区块,一些节点实际上无法处理这种大小的区块。处理大区块的能力已经并将持续得到改善。但是无论我们做什么,我们仍然无法获取以MB/秒为单位的平均带宽,说服自己我们可以接受1秒的延迟,并且有能力处理那种大小的区块。

存储

错误答案:10TB

正确答案:512GB

正如大家可能猜到的,这里的主要论点与其他地方相同:理论与实践之间的差异。理论上,我们可以在亚马逊上购买8TB固态驱动(确实需要SSD或NVME;HDD对于区块链状态存储来说太慢了)。实际上,我用来写这篇博文的笔记本电脑有512GB,如果你让人们去购买硬件,许多人就会变得懒惰(或者他们无法负担800美元的8TBSSD)并使用中心化服务。即使可以将区块链装到某个存储设备上,大量活动也可以快速地耗尽磁盘并迫使你购入新磁盘。

一群区块链协议研究员对每个人的磁盘空间进行了调查。我知道样本量很小,但仍然...

请点击输入图片描述

此外,存储大小决定了新节点能够上线并开始参与网络所需的时间。现有节点必须存储的任何数据都是新节点必须下载的数据。这个初始同步时间(和带宽)也是用户能够运行节点的主要障碍。在写这篇博文时,同步一个新的geth节点花了我大约15个小时。如果以太坊的使用量增加10倍,那么同步一个新的geth节点将至少需要一周时间,而且更有可能导致节点的互联网连接受到限制。这在攻击期间更为重要,当用户之前未运行节点时对攻击做出成功响应需要用户启用新节点。

交互效应

此外,这三类成本之间存在交互效应。由于数据库在内部使用树结构来存储和检索数据,因此从数据库中获取数据的成本随着数据库大小的对数而增加。事实上,因为顶级(或前几级)可以缓存在RAM中,所以磁盘访问成本与数据库大小成正比,是RAM中缓存数据大小的倍数。

不要从字面上理解这个图,不同的数据库以不同的方式工作,通常内存中的部分只是一个单独(但很大)的层(参见leveldb中使用的LSM树)。但基本原理是一样的。

例如,如果缓存为4GB,并且我们假设数据库的每一层比上一层大4倍,那么以太坊当前的~64GB状态将需要~2次访问。但是如果状态大小增加4倍到~256GB,那么这将增加到~3次访问。因此,gas上限增加4倍实际上可以转化为区块验证时间增加约6倍。这种影响可能会更大:硬盘在已满状态下比空闲时需要花更长时间来读写。

这对以太坊来说意味着什么?

现在在以太坊区块链中,运行一个节点对许多用户来说已经是一项挑战,尽管至少使用常规硬件仍然是可能的(我写这篇文章时刚刚在我的笔记本电脑上同步了一个节点!)。因此,我们即将遭遇瓶颈。核心开发者最关心的问题是存储大小。因此,目前在解决计算和数据瓶颈方面的巨大努力,甚至对共识算法的改变,都不太可能带来gaslimit的大幅提升。即使解决了以太坊最大的DoS弱点,也只能将gaslimit提高20%。

对于存储大小的问题,唯一解决方案是无状态和状态逾期。无状态使得节点群能够在不维护永久存储的情况下进行验证。状态逾期会使最近未访问过的状态失活,用户需要手动提供证明来更新。这两条路径已经研究了很长时间,并且已经开始了关于无状态的概念验证实现。这两项改进相结合可以大大缓解这些担忧,并为显著提升gaslimit开辟空间。但即使在实施无状态和状态逾期之后,gaslimit也可能只会安全地提升约3倍,直到其他限制开始发挥作用。

另一个可能的中期解决方案使使用ZK-SNARKs来验证交易。ZK-SNARKs能够保证普通用户无需个人存储状态或是验证区块,即使他们仍然需要下载区块中的所有数据来抵御数据不可用攻击。另外,即使攻击者不能强行提交无效区块,但是如果运行一个共识节点的难度过高,依然会有协调审查攻击的风险。因此,ZK-SNARKs不能无限地提升节点能力,但是仍然能够对其进行大幅提升(或许是1-2个数量级)。一些区块链在layer1上探索该形式,以太坊则通过layer2协议(也叫ZKrollups)来获益,例如zksync,Loopring和Starknet。

分片之后又会如何?

分片从根本上解决了上述限制,因为它将区块链上包含的数据与单个节点需要处理和存储的数据解耦了。节点验证区块不是通过亲自下载和执行,而是使用先进的数学和密码学技术来间接验证区块。

因此,分片区块链可以安全地拥有非分片区块链无法实现的非常高水平的吞吐量。这确实需要大量的密码学技术来有效替代朴素完整验证,以拒绝无效区块,但这是可以做到的:该理论已经具备了基础,并且基于草案规范的概念验证已经在进行中。

以太坊计划采用二次方分片(quadraticsharding),其中总可扩展性受到以下事实的限制:节点必须能够同时处理单个分片和信标链,而信标链必须为每个分片执行一些固定的管理工作。如果分片太大,节点就不能再处理单个分片,如果分片太多,节点就不能再处理信标链。这两个约束的乘积构成了上限。

可以想象,通过三次方分片甚至指数分片,我们可以走得更远。在这样的设计中,数据可用性采样肯定会变得更加复杂,但这是可以实现的。但以太坊并没有超越二次方,原因在于,从交易分片到交易分片的分片所获得的额外可扩展性收益实际上无法在其他风险程度可接受的前提下实现。

那么这些风险是什么呢?

最低用户数量

可以想象,只要有一个用户愿意参与,非分片区块链就可以运行。但分片区块链并非如此:单个节点无法处理整条链,因此需要足够的节点以共同处理区块链。如果每个节点可以处理50TPS,而链可以处理10000TPS,那么链至少需要200个节点才能存续。如果链在任何时候都少于200个节点,那可能会出现节点无法再保持同步,或者节点停止检测无效区块,或者还可能会发生许多其他坏事,具体取决于节点软件的设置。

在实践中,由于需要冗余(包括数据可用性采样),安全的最低数量比简单的“链TPS除以节点TPS”高几倍,对于上面的例子,我们将其设置位1000个节点。

如果分片区块链的容量增加10倍,则最低用户数也增加10倍。现在大家可能会问:为什么我们不从较低的容量开始,当用户很多时再增加,因为这是我们的实际需要,用户数量回落再降低容量?

这里有几个问题:

区块链本身无法可靠地检测到其上有多少唯一用户,因此需要某种治理来检测和设置分片数量。对容量限制的治理很容易成为分裂和冲突的根源。

如果许多用户突然同时意外掉线怎么办?

增加启动分叉所需的最低用户数量,使得防御恶意控制更加艰难。

最低用户数为1,000,这几乎可以说是没问题的。另一方面,最低用户数设为100万,这肯定是不行。即使最低用户数为10,000也可以说开始变得有风险。因此,似乎很难证明超过几百个分片的分片区块链是合理的。

历史可检索性

用户真正珍视的区块链重要属性是永久性。当公司破产或是维护该生态系统不再产生利益时,存储在服务器上的数字资产将在10年内不再存在。而以太坊上的NFT是永久的。

是的,到2372年人们仍能够下载并查阅你的加密猫。

但是一旦区块链的容量过高,存储所有这些数据就会变得更加困难,直到某时出现巨大风险,某些历史数据最终将……没人存储。

要量化这种风险很容易。以区块链的数据容量(MB/sec)为单位,乘以~30得到每年存储的数据量(TB)。当前的分片计划的数据容量约为1.3MB/秒,因此约为40TB/年。如果增加10倍,则为400TB/年。如果我们不仅希望可以访问数据,而且是以一种便捷的方式,我们还需要元数据(例如解压缩汇总交易),因此每年达到4PB,或十年后达到40PB。InternetArchive(互联网档案馆)使用50PB。所以这可以说是分片区块链的安全大小上限。

因此,看起来在这两个维度上,以太坊分片设计实际上已经非常接近合理的最大安全值。常数可以增加一点,但不能增加太多。

结语

尝试扩容区块链的方法有两种:基础的技术改进和简单地提升参数。首先,提升参数听起来很有吸引力:如果您是在餐纸上进行数学运算,这就很容易让自己相信消费级笔记本电脑每秒可以处理数千笔交易,不需要ZK-SNARK、rollups或分片。不幸的是,有很多微妙的理由可以解释为什么这种方法是有根本缺陷的。

运行区块链节点的计算机无法使用100%的CPU来验证区块链;他们需要很大的安全边际来抵抗意外的DoS攻击,他们需要备用容量来执行诸如在内存池中处理交易之类的任务,并且用户不希望在计算机上运行节点的时候无法同时用于任何其他应用。带宽也会受限:10MB/s的连接并不意味着每秒可以处理10MB的区块!也许每12秒才能处理1-5MB的块。存储也是一样,提高运行节点的硬件要求并且限制专门的节点运行者并不是解决方案。对于去中心化的区块链而言,普通用户能够运行节点并形成一种文化,即运行节点是一种普遍行为,这一点至关重要。

区块链的核心技术是什么?

简单来说,区块链是一个提供了拜占庭容错、并保证了最终一致性的分布式数据库;从数据结构上看,它是基于时间序列的链式数据块结构;从节点拓扑上看,它所有的节点互为冗余备份;从操作上看,它提供了基于密码学的公私钥管理体系来管理账户。

或许以上概念过于抽象,我来举个例子,你就好理解了。

你可以想象有100台计算机分布在世界各地,这100台机器之间的网络是广域网,并且,这100台机器的拥有者互相不信任。

那么,我们采用什么样的算法(共识机制)才能够为它提供一个可信任的环境,并且使得:

节点之间的数据交换过程不可篡改,并且已生成的历史记录不可被篡改;

每个节点的数据会同步到最新数据,并且会验证最新数据的有效性;

基于少数服从多数的原则,整体节点维护的数据可以客观反映交换历史。

区块链就是为了解决上述问题而产生的技术方案。

二、区块链的核心技术组成

无论是公链还是联盟链,至少需要四个模块组成:P2P网络协议、分布式一致性算法(共识机制)、加密签名算法、账户与存储模型。

1、P2P网络协议

P2P网络协议是所有区块链的最底层模块,负责交易数据的网络传输和广播、节点发现和维护。

通常我们所用的都是比特币P2P网络协议模块,它遵循一定的交互原则。比如:初次连接到其他节点会被要求按照握手协议来确认状态,在握手之后开始请求Peer节点的地址数据以及区块数据。

这套P2P交互协议也具有自己的指令集合,指令体现在在消息头(MessageHeader)的命令(command)域中,这些命令为上层提供了节点发现、节点获取、区块头获取、区块获取等功能,这些功能都是非常底层、非常基础的功能。如果你想要深入了解,可以参考比特币开发者指南中的PeerDiscovery的章节。

2、分布式一致性算法

在经典分布式计算领域,我们有Raft和Paxos算法家族代表的非拜占庭容错算法,以及具有拜占庭容错特性的PBFT共识算法。

如果从技术演化的角度来看,我们可以得出一个图,其中,区块链技术把原来的分布式算法进行了经济学上的拓展。

在图中我们可以看到,计算机应用在最开始多为单点应用,高可用方便采用的是冷灾备,后来发展到异地多活,这些异地多活可能采用的是负载均衡和路由技术,随着分布式系统技术的发展,我们过渡到了Paxos和Raft为主的分布式系统。

而在区块链领域,多采用PoW工作量证明算法、PoS权益证明算法,以及DPoS代理权益证明算法,以上三种是业界主流的共识算法,这些算法与经典分布式一致性算法不同的是,它们融入了经济学博弈的概念,下面我分别简单介绍这三种共识算法。

PoW:通常是指在给定的约束下,求解一个特定难度的数学问题,谁解的速度快,谁就能获得记账权(出块)权利。这个求解过程往往会转换成计算问题,所以在比拼速度的情况下,也就变成了谁的计算方法更优,以及谁的设备性能更好。

PoS:这是一种股权证明机制,它的基本概念是你产生区块的难度应该与你在网络里所占的股权(所有权占比)成比例,它实现的核心思路是:使用你所锁定代币的币龄(CoinAge)以及一个小的工作量证明,去计算一个目标值,当满足目标值时,你将可能获取记账权。

DPoS:简单来理解就是将PoS共识算法中的记账者转换为指定节点数组成的小圈子,而不是所有人都可以参与记账。这个圈子可能是21个节点,也有可能是101个节点,这一点取决于设计,只有这个圈子中的节点才能获得记账权。这将会极大地提高系统的吞吐量,因为更少的节点也就意味着网络和节点的可控。

3、加密签名算法

在区块链领域,应用得最多的是哈希算法。哈希算法具有抗碰撞性、原像不可逆、难题友好性等特征。

其中,难题友好性正是众多PoW币种赖以存在的基础,在比特币中,SHA256算法被用作工作量证明的计算方法,也就是我们所说的挖矿算法。

而在莱特币身上,我们也会看到Scrypt算法,该算法与SHA256不同的是,需要大内存支持。而在其他一些币种身上,我们也能看到基于SHA3算法的挖矿算法。以太坊使用了Dagger-Hashimoto算法的改良版本,并命名为Ethash,这是一个IO难解性的算法。

当然,除了挖矿算法,我们还会使用到RIPEMD160算法,主要用于生成地址,众多的比特币衍生代码中,绝大部分都采用了比特币的地址设计。

除了地址,我们还会使用到最核心的,也是区块链Token系统的基石:公私钥密码算法。

在比特币大类的代码中,基本上使用的都是ECDSA。ECDSA是ECC与DSA的结合,整个签名过程与DSA类似,所不一样的是签名中采取的算法为ECC(椭圆曲线函数)。

从技术上看,我们先从生成私钥开始,其次从私钥生成公钥,最后从公钥生成地址,以上每一步都是不可逆过程,也就是说无法从地址推导出公钥,从公钥推导到私钥。

4、账户与交易模型

从一开始的定义我们知道,仅从技术角度可以认为区块链是一种分布式数据库,那么,多数区块链到底使用了什么类型的数

二、区块链技术这东西真的会是后互联网时代吗有什么体现

是的,区块链一定是后互联网时代必需的技术。

具体体现在它的不可篡改,以及去中心化特性能实现:

一、在互联网上,能传递价值和权益。

二、能够构建一套去中心化体系,使得多方主体之间能够互相信任。

第一点,在互联网上,能传递价值和权益。

我们都知道,在互联网上最容易做到复制和粘贴,我们可以很方便的传递信息,但是如果在互联网上传递价值,就有可能被盗以及被篡改信息。而有了区块链技术后,我们放在互联网上的信息,可以不被篡改,也不怕被盗。于是,就可以在互联网上传递价值和权益证明了。

传递价值的例子太多了,比如比特币就是一种数字资产可以随意通过互联网进行转账,而且并不需要一个中心化机构来管理。

但是传递权益证明怎么理解呢?比如说,我们去办政务,就经常遇到,我在一个部门的一个窗口,办一个手续,然后拿着这个纸质手续,再去找下一个部门的窗口。明明我们已经经历过互联网化这么多年,却还是要走这么多流程和办理各种纸质资料,这是为什么呢?

这是因为现在科技很发达,要篡改一些电子文件其实很容易,在没有结合区块链的情况下,要信任你提交的电子资料是比较难的。所以要让窗口部门了解到你是你本人,以及是你自己愿意来办的,往往就需要你带上身份证,然后亲自到现场填写资料,来确保这是你本人出自自己意愿来办理的,这样才不会出错。

而结合了区块链,再结合人脸识别,就可以做到,我在一个部门办好的手续,放到区块链上,另一个部门只需在区块链上查看便知道,我本人来办理过相关的前置手续,就可以接着办理了。

事实上,像广东佛山禅城区就已经在探索利用区块链技术,做得到政务“零跑腿”,足不出户就能办理政务业务了,极大的提高了处理的效益。

再来说说,第二点,能够构建一套去中心化体系,使得多方主体之间能够互相信任。在出现区块链以前,多个主体协作尤其是线上的协作是很难的。这也是为什么跨国转账一般要花好几天时间,并且费用很昂贵,百分之几的费用。因为跨国转账来说,不同银行的账本不一样,用的系统不一样,所以往往需要两家银行专门负责对外清结算的人员互相同步一下账本,才能转账成功。

有的人就说,那大家都用一套系统好了,那么问题来了,用谁的系统呢?用谁的,其他几家都不信任,因为谁的系统,往往就有权限修改,而且操作权都在对方手上,而且还不说隐私之类的问题了。

但是如果是用区块链开发的系统,就可以很好的解决这个问题,因为大家用的是同一套系统,而且各个节点之间的权限是一致的,没有任何一个主体能随意更改。

其实,在18年6月份,蚂蚁金服就已经利用区块链技术,做到了快速跨境汇款。三秒到账,费用也极低,可以忽略。

这种区块链带来的去中心化的解决方案,以建立一种与以往中心化不同的协作关系,解决了中心化难以逾越的一些问题,并且极大地提高了效率。

如果再从这个方向去延伸呢,大家想想我们所处的任何一家公司,总会是另一家公司的上游或者下游,就一定会与对方进行物资,资金,信息等等的一系列交互。那么是不是会发现很多流程往往都是为了信任而产生的,比如对方发来的信息,要确认,对方发来的物资要确认和检查,每次与对方进行新的动作的时候都会伴随不断地确认,反馈。而这些都是信任成本。

但是如果利用区块链,数据产生之后,就放到区块链上来,所有这条供应链上下游的企业都获取到数据,那么很多数据就不用反复确认,这样就可以极大的降低信任成本。同时,因为传递的是可信的数据。而数据一旦可信,在未来,机器与机器之间的交互就会减少非常多的麻烦了。(这又是另一个大的话题了)

区块链技术被广泛视为实现更安全的互联网的重要抓手——其优势主要来源于其技术原理与当前互联网结构的不同。在这篇文章中我们将为大家介绍,区块链会如何促进网络安全。

区块链技术是什么?

区块链技术是一个去中心化的分布式账本系统,你可以把任何数字资产放入区块链,无论任何行业。它使用一系列具有时间戳的不可变记录来保存信息,由计算机集群进行管理。通过这些记录可以跟踪不同的事务,这些记录通过区块来分隔,并由加密链连接。同时,数据并不属于某台计算机或某个个体,而是由整个系统内的多个用户共同拥有。

一旦信息得到确认,已被编码的数据就无法改变,将变成一个永久区块,添加到已经过验证的其他区块形成的链上。最初这一技术是为加密货币设计的,但现在我们可以看到,区块链技术在很多领域,特别是网络安全方面拥有巨大潜力,因为它可以用来防止网络攻击、数据泄露、身份盗窃或恶意交易,保持数据的私密性和安全性。

区块链作为一种更偏底层的技术,能够为不同行业提供有益的解决方案。它的主要特点是:

区块链拥有一个民主化的网络,没有中央权威。它是公共域,因此没有任何一个组织可以进入区块链系统来操纵任何信息。

区块链是一个去中心化的系统,不属于任何一个实体。区块链系统中的数据可以进行加密存储。

存储在区块链中的任何内容都是不可变的,可以防止人为篡改或操纵信息。例如,有了区块链,就可以举行一场完全透明的选举,并立即产生结果。人们完全可以在自己家里投票,投票结果就能够立即统计出来。

区块链是透明的——在区块链中构建和存储的任何东西都可以公开访问。存储在里面的数据也可以被追踪,对那些使用该系统的人来说,将形成一个更高标准的问责制度。

区块链技术如何推进网络安全?

物联网与边缘计算

随着物联网、边缘计算的发展,越来越多的数据分布在边缘计算和存储设备上,以进行实时、按需访问,也就是在更靠近数据源的位置处理和存储数据。区块链通过更严格的身份认证、改进的数据属性和流,以及更先进的记录管理系统,为物联网和工业物联网提供了一个安全的解决方案。

在物联网设备方面,区块链技术基于其去中心化的架构,能够为远程物联网设备提供安全性,保障其不受黑客攻击。智能合约可以为区块链环境下的交易提供安全验证,同时区块链可用于管理物联网活动。

数据访问控制

因为区块链最初设想的一个目标是能够实现公开访问,所以它并没有访问控制或限制。不过,如今各个行业都会通过使用私有区块链系统,来确保数据机密性以及安全访问控制。区块链的完全加密,能够确保外部无法访问数据——无论是部分还是全部数据,特别是在传输数据时。

DDoS攻击

分布式拒绝服务(DDoS)攻击的目标通常是一个服务器,该服务器会受到多个受感染的计算机系统的攻击,通过拒绝服务导致系统变慢,最终导致系统过载或崩溃。如果将区块链集成到安全系统中,目标计算机、服务器或网络将成为去中心化系统的一部分,可以保护这些机器不受攻击。

个人通信

使用基于区块链技术搭建的平台进行通信,企业可以获得更高的安全性,该技术可以抵御恶意攻击。无论在个人、企业还是高度机密的通信中,消费者都可以获得通信的保密性,无需担心网络攻击。区块链能比普通加密应用更好地处理公钥基础设施(PKI),因此现在有很多企业希望开发区块链私人通信应用。

公钥基础设施

如今人们更加注重保护电脑和在线凭证的安全,而区块链技术也可以在这方面提供帮助。PKI依赖第三方认证机构来保证通信应用程序、电子邮件和网站的安全。这些颁发、撤销或存储密钥对的发证机构,往往会成为黑客的目标,后者一般会使用伪造身份试图访问加密通信。当这些密钥被编码在区块链上时,它将生成虚假密钥或盗窃身份的可能最小化了,因为合法账户持有人的身份已经在应用程序上得到验证,任何入侵、欺骗或身份盗窃都可以立即识别出来。

域名系统

采用区块链方法去存储域名系统(DNS),可以全面提高安全性。因为它不再是单个的、存有风险的目标,可以阻止黑客搞垮DNS服务提供商的恶意活动。

区块链,网络安全的未来

随着我们不断加深对区块链的认识,越来越多的人投入到区块链技术的应用与研发,这项技术正在慢慢成熟。从过去这两年里,区块链在不同行业场景中应用的增加,以及国家对区块链这项技术的政策导向。区块链已经发生了巨大的改变,不再是加密货币的代名词。

区块链技术可能是因加密货币而生,但其价值绝不仅限于加密货币。区块链是一种安全可靠的技术,一旦融入主流安全措施,它可以为推进网络安全带来很多实际的好处。

随着黑客不断创造新的、更刁钻的数据窃取和攻击方式,网络安全的威胁在加剧,区块链技术很可能在未来几年成为网络安全的前沿。从一定程度上来说,如今的区块链正是网络安全的未来。

我的理解区块链是一种技术,互联网只是个载体或者信息整合的传播途径,不应该是互联网后时代。

区块链可以真正做到公正公开,发生过的事情记录下来不会被篡改。

区块链,去中心化,无法破解,唯一性无可替代

三、区块链共识方法是什么(区块链共识机制有哪些)

区块链常见的三大共识机制

区块链是建立在P2P网络,由节点参与的分布式账本系统,最大的特点是“去中心化”。也就是说在区块链系统中,用户与用户之间、用户与机构之间、机构与机构之间,无需建立彼此之间的信任,只需依靠区块链协议系统就能实现交易。

可是,要如何保证账本的准确性,权威性,以及可靠性?区块链网络上的节点为什么要参与记账?节点如果造假怎么办?如何防止账本被篡改?如何保证节点间的数据一致性?……这些都是区块链在建立“去中心化”交易时需要解决的问题,由此产生了共识机制。

所谓“共识机制”,就是通过特殊节点的投票,在很短的时间内完成对交易的验证和确认;当出现意见不一致时,在没有中心控制的情况下,若干个节点参与决策达成共识,即在互相没有信任基础的个体之间如何建立信任关系。

区块链技术正是运用一套基于共识的数学算法,在机器之间建立“信任”网络,从而通过技术背书而非中心化信用机构来进行全新的信用创造。

不同的区块链种类需要不同的共识算法来确保区块链上最后的区块能够在任何时候都反应出全网的状态。

目前为止,区块链共识机制主要有以下几种:POW工作量证明、POS股权证明、DPOS授权股权证明、Paxos、PBFT(实用拜占庭容错算法)、dBFT、DAG(有向无环图)

接下来我们主要说说常见的POW、POS、DPOS共识机制的原理及应用场景

概念:

工作量证明机制(Proofofwork),最早是一个经济学名词,指系统为达到某一目标而设置的度量方法。简单理解就是一份证明,用来确认你做过一定量的工作,通过对工作的结果进行认证来证明完成了相应的工作量。

工作量证明机制具有完全去中心化的优点,在以工作量证明机制为共识的区块链中,节点可以自由进出,并通过计算随机哈希散列的数值解争夺记账权,求得正确的数值解以生成区块的能力是节点算力的具体表现。

应用:

POW最著名的应用当属比特币。在比特币网络中,在Block的生成过程中,矿工需要解决复杂的密码数学难题,寻找到一个符合要求的BlockHash由N个前导零构成,零的个数取决于网络的难度值。这期间需要经过大量尝试计算(工作量),计算时间取决于机器的哈希运算速度。

而寻找合理hash是一个概率事件,当节点拥有占全网n%的算力时,该节点即有n/100的概率找到BlockHash。在节点成功找到满足的Hash值之后,会马上对全网进行广播打包区块,网络的节点收到广播打包区块,会立刻对其进行验证。

如果验证通过,则表明已经有节点成功解迷,自己就不再竞争当前区块,而是选择接受这个区块,记录到自己的账本中,然后进行下一个区块的竞争猜谜。网络中只有最快解谜的区块,才会添加的账本中,其他的节点进行复制,以此保证了整个账本的唯一性。

假如节点有任何的作弊行为,都会导致网络的节点验证不通过,直接丢弃其打包的区块,这个区块就无法记录到总账本中,作弊的节点耗费的成本就白费了,因此在巨大的挖矿成本下,也使得矿工自觉自愿的遵守比特币系统的共识协议,也就确保了整个系统的安全。

优缺点

优点:结果能被快速验证,系统承担的节点量大,作恶成本高进而保证矿工的自觉遵守性。

缺点:需要消耗大量的算法,达成共识的周期较长

概念:

权益证明机制(ProofofStake),要求证明人提供一定数量加密货币的所有权。

权益证明机制的运作方式是,当创造一个新区块时,矿工需要创建一个“币权”交易,交易会按照预先设定的比例把一些币发送给矿工本身。权益证明机制根据每个节点拥有代币的比例和时间,依据算法等比例地降低节点的挖矿难度,从而加快了寻找随机数的速度。

应用:

2012年,化名SunnyKing的网友推出了Peercoin(点点币),是权益证明机制在加密电子货币中的首次应用。PPC最大创新是其采矿方式混合了POW及POS两种方式,采用工作量证明机制发行新币,采用权益证明机制维护网络安全。

为了实现POS,SunnyKing借鉴于中本聪的Coinbase,专门设计了一种特殊类型交易,叫Coinstake。

上图为Coinstake工作原理,其中币龄指的是货币的持有时间段,假如你拥有10个币,并且持有10天,那你就收集到了100天的币龄。如果你使用了这10个币,币龄被消耗(销毁)了。

优缺点:

优点:缩短达成共识所需的时间,比工作量证明更加节约能源。

缺点:本质上仍然需要网络中的节点进行挖矿运算,转账真实性较难保证

概念:

授权股权证明机制(DelegatedProofofStake),与董事会投票类似,该机制拥有一个内置的实时股权人投票系统,就像系统随时都在召开一个永不散场的股东大会,所有股东都在这里投票决定公司决策。

授权股权证明在尝试解决传统的PoW机制和PoS机制问题的同时,还能通过实施科技式的民主抵消中心化所带来的负面效应。基于DPoS机制建立的区块链的去中心化依赖于一定数量的代表,而非全体用户。在这样的区块链中,全体节点投票选举出一定数量的节点代表,由他们来代理全体节点确认区块、维持系统有序运行。

同时,区块链中的全体节点具有随时罢免和任命代表的权力。如果必要,全体节点可以通过投票让现任节点代表失去代表资格,重新选举新的代表,实现实时的民主。

应用:

比特股(Bitshare)是一类采用DPOS机制的密码货币。通过引入了见证人这个概念,见证人可以生成区块,每一个持有比特股的人都可以投票选举见证人。得到总同意票数中的前N个(N通常定义为101)候选者可以当选为见证人,当选见证人的个数(N)需满足:至少一半的参与投票者相信N已经充分地去中心化。

见证人的候选名单每个维护周期(1天)更新一次。见证人然后随机排列,每个见证人按序有2秒的权限时间生成区块,若见证人在给定的时间片不能生成区块,区块生成权限交给下一个时间片对应的见证人。DPoS的这种设计使得区块的生成更为快速,也更加节能。

DPOS充分利用了持股人的投票,以公平民主的方式达成共识,他们投票选出的N个见证人,可以视为N个矿池,而这N个矿池彼此的权利是完全相等的。持股人可以随时通过投票更换这些见证人(矿池),只要他们提供的算力不稳定,计算机宕机,或者试图利用手中的权力作恶。

优缺点:

优点:缩小参与验证和记账节点的数量,从而达到秒级的共识验证

缺点:中心程度较弱,安全性相比POW较弱,同时节点代理是人为选出的,公平性相比POS较低,同时整个共识机制还是依赖于代币的增发来维持代理节点的稳定性。

区块链有几种共识算法?

RippleConsensus(瑞波共识算法)

使一组节点能够基于特殊节点列表达成共识。初始特殊节点列表就像一个俱乐部,要接纳一个新成员,必须由51%的该俱乐部会员投票通过。共识遵循这核心成员的51%权力,外部人员则没有影响力。由于该俱乐部由“中心化”开始,它将一直是“中心化的”,而如果它开始腐化,股东们什么也做不了。

5、PBFT:PracticalByzantineFaultTolerance(实用拜占庭容错算法)

PBFT是一种状态机副本复制算法,即服务作为状态机进行建模,状态机在分布式系统的不同节点进行副本复制。每个状态机的副本都保存了服务的状态,同时也实现了服务的操作。将所有的副本组成的集合使用大写字母R表示,使用0到|R|-1的整数表示每一个副本。为了描述方便,假设|R|=3f+1,这里f是有可能失效的副本的最大个数。尽管可以存在多于3f+1个副本,但是额外的副本除了降低性能之外不能提高可靠性。

PBFT算法主要特点如下:客户端向主节点发送请求调用服务操作;主节点通过广播将请求发送给其他副本;所有副本都执行请求并将结果发回客户端;客户端需要等待f+1个不同副本节点发回相同的结果,作为整个操作的最终结果。

什么是区块链共识?

所谓“共识机制”,是通过特殊节点的投票,在很短的时间内完成对交易的验证和确认;对一笔交易,如果利益不相干的若干个节点能够达成共识,我们就可以认为全网对此也能够达成共识。再通俗一点来讲,如果中国一名微博大V、美国一名虚拟币玩家、一名非洲留学生和一名欧洲旅行者互不相识,但他们都一致认为你是个好人,那么基本上就可以断定你这人还不坏。

区块链作为一种按时间顺序存储数据的数据结构,可支持不同的共识机制。共识机制是区块链技术的重要组件。区块链共识机制的目标是使所有的诚实节点保存一致的区块链视图,同时满足两个性质:

1)一致性。所有诚实节点保存的区块链的前缀部分完全相同。

2)有效性。由某诚实节点发布的信息终将被其他所有诚实节点记录在自己的区块链中。

区块链的四种共识机制

区块链的共识机制可以分为以下四类:权益证明机制、工作量证明机制、Pool验证和池股份授权证明机制。

区块链,就是一个又一个区块组成的链条。每一个区块中保存了一定的信息,它们按照各自产生的时间顺序连接成链条。这个链条被保存在所有的服务器中,只要整个系统中有一台服务器可以工作,整条区块链就是安全的。这些服务器在区块链系统中被称为节点,它们为整个区块链系统提供存储空间和算力支持。

区块链---共识算法

PoW算法是一种防止分布式服务资源被滥用、拒绝服务攻击的机制。它要求节点进行适量消耗时间和资源的复杂运算,并且其运算结果能被其他节点快速验算,以耗用时间、能源做担保,以确保服务与资源被真正的需求所使用。

PoW算法中最基本的技术原理是使用哈希算法。假设求哈希值Hash(r),若原始数据为r(raw),则运算结果为R(Result)。

R=Hash(r)

哈希函数Hash()的特性是,对于任意输入值r,得出结果R,并且无法从R反推回r。当输入的原始数据r变动1比特时,其结果R值完全改变。在比特币的PoW算法中,引入算法难度d和随机值n,得到以下公式:

Rd=Hash(r+n)

该公式要求在填入随机值n的情况下,计算结果Rd的前d字节必须为0。由于哈希函数结果的未知性,每个矿工都要做大量运算之后,才能得出正确结果,而算出结果广播给全网之后,其他节点只需要进行一次哈希运算即可校验。PoW算法就是采用这种方式让计算消耗资源,而校验仅需一次。

?

PoS算法要求节点验证者必须质押一定的资金才有挖矿打包资格,并且区域链系统在选定打包节点时使用随机的方式,当节点质押的资金越多时,其被选定打包区块的概率越大。

POS模式下,每个币每天产生1币龄,比如你持有100个币,总共持有了30天,那么,此时你的币龄就为3000。这个时候,如果你验证了一个POS区块,你的币龄就会被清空为0,同时从区块中获得相对应的数字货币利息。

节点通过PoS算法出块的过程如下:普通的节点要成为出块节点,首先要进行资产的质押,当轮到自己出块时,打包区块,然后向全网广播,其他验证节点将会校验区块的合法性。

?

DPoS算法和PoS算法相似,也采用股份和权益质押。

但不同的是,DPoS算法采用委托质押的方式,类似于用全民选举代表的方式选出N个超级节点记账出块。

选民把自己的选票投给某个节点,如果某个节点当选记账节点,那么该记账节点往往在获取出块奖励后,可以采用任意方式来回报自己的选民。

这N个记账节点将轮流出块,并且节点之间相互监督,如果其作恶,那么会被扣除质押金。

通过信任少量的诚信节点,可以去除区块签名过程中不必要的步骤,提高了交易的速度。

?

拜占庭问题:

拜占庭是古代东罗马帝国的首都,为了防御在每块封地都驻扎一支由单个将军带领的军队,将军之间只能靠信差传递消息。在战争时,所有将军必须达成共识,决定是否共同开战。

但是,在军队内可能有叛徒,这些人将影响将军们达成共识。拜占庭将军问题是指在已知有将军是叛徒的情况下,剩余的将军如何达成一致决策的问题。

BFT:

BFT即拜占庭容错,拜占庭容错技术是一类分布式计算领域的容错技术。拜占庭假设是对现实世界的模型化,由于硬件错误、网络拥塞或中断以及遭到恶意攻击等原因,计算机和网络可能出现不可预料的行为。拜占庭容错技术被设计用来处理这些异常行为,并满足所要解决的问题的规范要求。

拜占庭容错系统:

发生故障的节点被称为拜占庭节点,而正常的节点即为非拜占庭节点。

假设分布式系统拥有n台节点,并假设整个系统拜占庭节点不超过m台(n≥3m+1),拜占庭容错系统需要满足如下两个条件:

另外,拜占庭容错系统需要达成如下两个指标:

PBFT即实用拜占庭容错算法,解决了原始拜占庭容错算法效率不高的问题,算法的时间复杂度是O(n^2),使得在实际系统应用中可以解决拜占庭容错问题

?

PBFT是一种状态机副本复制算法,所有的副本在一个视图(view)轮换的过程中操作,主节点通过视图编号以及节点数集合来确定,即:主节点p=vmod|R|。v:视图编号,|R|节点个数,p:主节点编号。

PBFT算法的共识过程如下:客户端(Client)发起消息请求(request),并广播转发至每一个副本节点(Replica),由其中一个主节点(Leader)发起提案消息pre-prepare,并广播。其他节点获取原始消息,在校验完成后发送prepare消息。每个节点收到2f+1个prepare消息,即认为已经准备完毕,并发送commit消息。当节点收到2f+1个commit消息,客户端收到f+1个相同的reply消息时,说明客户端发起的请求已经达成全网共识。

具体流程如下:

客户端c向主节点p发送REQUEST,o,t,c请求。o:请求的具体操作,t:请求时客户端追加的时间戳,c:客户端标识。REQUEST:包含消息内容m,以及消息摘要d(m)。客户端对请求进行签名。

主节点收到客户端的请求,需要进行以下交验:

a.客户端请求消息签名是否正确。

非法请求丢弃。正确请求,分配一个编号n,编号n主要用于对客户端的请求进行排序。然后广播一条PRE-PREPARE,v,n,d,m消息给其他副本节点。v:视图编号,d客户端消息摘要,m消息内容。PRE-PREPARE,v,n,d进行主节点签名。n是要在某一个范围区间内的[h,H],具体原因参见垃圾回收章节。

副本节点i收到主节点的PRE-PREPARE消息,需要进行以下交验:

a.主节点PRE-PREPARE消息签名是否正确。

b.当前副本节点是否已经收到了一条在同一v下并且编号也是n,但是签名不同的PRE-PREPARE信息。

c.d与m的摘要是否一致。

d.n是否在区间[h,H]内。

非法请求丢弃。正确请求,副本节点i向其他节点包括主节点发送一条PREPARE,v,n,d,i消息,v,n,d,m与上述PRE-PREPARE消息内容相同,i是当前副本节点编号。PREPARE,v,n,d,i进行副本节点i的签名。记录PRE-PREPARE和PREPARE消息到log中,用于ViewChange过程中恢复未完成的请求操作。

主节点和副本节点收到PREPARE消息,需要进行以下交验:

a.副本节点PREPARE消息签名是否正确。

b.当前副本节点是否已经收到了同一视图v下的n。

c.n是否在区间[h,H]内。

d.d是否和当前已收到PRE-PPREPARE中的d相同

非法请求丢弃。如果副本节点i收到了2f+1个验证通过的PREPARE消息,则向其他节点包括主节点发送一条COMMIT,v,n,d,i消息,v,n,d,i与上述PREPARE消息内容相同。COMMIT,v,n,d,i进行副本节点i的签名。记录COMMIT消息到日志中,用于ViewChange过程中恢复未完成的请求操作。记录其他副本节点发送的PREPARE消息到log中。

主节点和副本节点收到COMMIT消息,需要进行以下交验:

a.副本节点COMMIT消息签名是否正确。

b.当前副本节点是否已经收到了同一视图v下的n。

c.d与m的摘要是否一致。

d.n是否在区间[h,H]内。

非法请求丢弃。如果副本节点i收到了2f+1个验证通过的COMMIT消息,说明当前网络中的大部分节点已经达成共识,运行客户端的请求操作o,并返回REPLY,v,t,c,i,r给客户端,r:是请求操作结果,客户端如果收到f+1个相同的REPLY消息,说明客户端发起的请求已经达成全网共识,否则客户端需要判断是否重新发送请求给主节点。记录其他副本节点发送的COMMIT消息到log中。

?

如果主节点作恶,它可能会给不同的请求编上相同的序号,或者不去分配序号,或者让相邻的序号不连续。备份节点应当有职责来主动检查这些序号的合法性。

如果主节点掉线或者作恶不广播客户端的请求,客户端设置超时机制,超时的话,向所有副本节点广播请求消息。副本节点检测出主节点作恶或者下线,发起ViewChange协议。

ViewChange协议:

副本节点向其他节点广播VIEW-CHANGE,v+1,n,C,P,i消息。n是最新的stablecheckpoint的编号,C是2f+1验证过的CheckPoint消息集合,P是当前副本节点未完成的请求的PRE-PREPARE和PREPARE消息集合。

当主节点p=v+1mod|R|收到2f个有效的VIEW-CHANGE消息后,向其他节点广播NEW-VIEW,v+1,V,O消息。V是有效的VIEW-CHANGE消息集合。O是主节点重新发起的未经完成的PRE-PREPARE消息集合。PRE-PREPARE消息集合的选取规则:

副本节点收到主节点的NEW-VIEW消息,验证有效性,有效的话,进入v+1状态,并且开始O中的PRE-PREPARE消息处理流程。

?

在上述算法流程中,为了确保在ViewChange的过程中,能够恢复先前的请求,每一个副本节点都记录一些消息到本地的log中,当执行请求后副本节点需要把之前该请求的记录消息清除掉。

最简单的做法是在Reply消息后,再执行一次当前状态的共识同步,这样做的成本比较高,因此可以在执行完多条请求K(例如:100条)后执行一次状态同步。这个状态同步消息就是CheckPoint消息。

副本节点i发送CheckPoint,n,d,i给其他节点,n是当前节点所保留的最后一个视图请求编号,d是对当前状态的一个摘要,该CheckPoint消息记录到log中。如果副本节点i收到了2f+1个验证过的CheckPoint消息,则清除先前日志中的消息,并以n作为当前一个stablecheckpoint。

这是理想情况,实际上当副本节点i向其他节点发出CheckPoint消息后,其他节点还没有完成K条请求,所以不会立即对i的请求作出响应,它还会按照自己的节奏,向前行进,但此时发出的CheckPoint并未形成stable。

为了防止i的处理请求过快,设置一个上文提到的高低水位区间[h,H]来解决这个问题。低水位h等于上一个stablecheckpoint的编号,高水位H=h+L,其中L是我们指定的数值,等于checkpoint周期处理请求数K的整数倍,可以设置为L=2K。当副本节点i处理请求超过高水位H时,此时就会停止脚步,等待stablecheckpoint发生变化,再继续前进。

?

在区块链场景中,一般适合于对强一致性有要求的私有链和联盟链场景。例如,在IBM主导的区块链超级账本项目中,PBFT是一个可选的共识协议。在Hyperledger的Fabric项目中,共识模块被设计成可插拔的模块,支持像PBFT、Raft等共识算法。

?

?

Raft基于领导者驱动的共识模型,其中将选举一位杰出的领导者(Leader),而该Leader将完全负责管理集群,Leader负责管理Raft集群的所有节点之间的复制日志。

?

下图中,将在启动过程中选择集群的Leader(S1),并为来自客户端的所有命令/请求提供服务。Raft集群中的所有节点都维护一个分布式日志(复制日志)以存储和提交由客户端发出的命令(日志条目)。Leader接受来自客户端的日志条目,并在Raft集群中的所有关注者(S2,S3,S4,S5)之间复制它们。

在Raft集群中,需要满足最少数量的节点才能提供预期的级别共识保证,这也称为法定人数。在Raft集群中执行操作所需的最少投票数为(N/2+1),其中N是组中成员总数,即投票至少超过一半,这也就是为什么集群节点通常为奇数的原因。因此,在上面的示例中,我们至少需要3个节点才能具有共识保证。

如果法定仲裁节点由于任何原因不可用,也就是投票没有超过半数,则此次协商没有达成一致,并且无法提交新日志。

?

数据存储:Tidb/TiKV

日志:阿里巴巴的DLedger

服务发现:Consuletcd

集群调度:HashiCorpNomad

?

只能容纳故障节点(CFT),不容纳作恶节点

顺序投票,只能串行apply,因此高并发场景下性能差

?

Raft通过解决围绕Leader选举的三个主要子问题,管理分布式日志和算法的安全性功能来解决分布式共识问题。

当我们启动一个新的Raft集群或某个领导者不可用时,将通过集群中所有成员节点之间协商来选举一个新的领导者。因此,在给定的实例中,Raft集群的节点可以处于以下任何状态:追随者(Follower),候选人(Candidate)或领导者(Leader)。

系统刚开始启动的时候,所有节点都是follower,在一段时间内如果它们没有收到Leader的心跳信号,follower就会转化为Candidate;

如果某个Candidate节点收到大多数节点的票,则这个Candidate就可以转化为Leader,其余的Candidate节点都会回到Follower状态;

一旦一个Leader发现系统中存在一个Leader节点比自己拥有更高的任期(Term),它就会转换为Follower。

Raft使用基于心跳的RPC机制来检测何时开始新的选举。在正常期间,Leader会定期向所有可用的Follower发送心跳消息(实际中可能把日志和心跳一起发过去)。因此,其他节点以Follower状态启动,只要它从当前Leader那里收到周期性的心跳,就一直保持在Follower状态。

当Follower达到其超时时间时,它将通过以下方式启动选举程序:

根据Candidate从集群中其他节点收到的响应,可以得出选举

阅读