一、大数据与区块链

这个故事还是要从比特币谈起

比特币这个电子现金系统是同时去中介化(个人与个人之间的电子现金无须可信第三方中介的介入)和去中心化(由某个机构负责维护)的(交易双方可以在无须建立信任关系的前提下完成交易)

哈希函数:将任意长的字符串，转变成固定长度的输出(计算过程不能太复杂)，只要输入字符串发生微小变化，哈希函数的输出就会完全不同。

区块链:把大的东西切分成很多个区块进行存储，只要其中有一个东西被篡改，下边的数据都不一样，就会被发现

采用区块链(数据结构哈希函数)，保障账本不能被篡改，采用数字签名技术，保证只有自己才能够使用自己的账户，采用p2p网络和pow共识机制，保证去中心化的运作方式

区块链是利用块链式数据结构来验证与存储数据，利用分布式节点共识算法来生成和更新数据，利用密码学的方式保证数据传输和访问安全的一种全新的分布式基础架构与计算机范式。

三要素:

区块链的本质就是分布式账本，是一种数据库。区块链用哈希算法实现信息不可篡改，用公钥，私钥来标识身份，以去中心化和去中介化的方式，来集体维护一个可靠数据库。

大数据与区块链的区别主要表现在以下几个方面。

(1)数据量。区块链技术是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链处理的数据量小，具有细致的处理方式。而大数据管理的是海量数据，要求广度和数量，处理方式上会更粗糙。

(2)结构化和非结构化。区块链是结构定义严谨的块，通过指针组成的链，是典型的结构化数据，而大数据需要处理的更多的是非结构化数据。

(3)独立和整合。区块链系统为保证安全性，信息是相对独立的，而大数据的重点是信息的整合分析。

(4)直接和间接。区块链是一个分布式账本，本质上就是一个数据库，而大数据指的是对数据深度分析和挖掘，是一种间接的数据。

(5)CAP理论。C(Consistency)是一致性，它是指任何一个读操作总是能够读到之前完成的写操作的结果，也就是在分布式环境中，多点的数据是一致的。A(Availability)是可用性，它是指快速获取数据，可以在确定的时间内返回操作结果。P(Tolerance of Network Partition)是分区容忍性，它是指当出现网络分区的情况时(即系统中的一部分节点无法和其他节点进行通信)，分离的系统也能够正常运行。CAP理论告诉我们，一个分布式系统不可能同时满足一致性、可用性和分区容忍性这3个需求，最多只能同时满足其中2个，正所谓“鱼和熊掌不可兼得”。大数据通常选择实现AP，区块链则选择实现CP。

(6)基础网络。大数据底层的基础设施通常是计算机集群，而区块链的基础设施通常是P2P网络。

(7)价值来源。对于大数据而言，数据是信息，需要从数据中提炼得到价值。而对于区块链而言，数据是资产，是价值的传承。

(8)计算模式。在大数据的场景中，是把一件事情分给多个人做，比如，在MapReduce计算框架中，一个大型任务会被分解成很多个子任务，分配给很多个节点同时去计算。而在区块链的场景中，是让多个人重复做一件事情，比如，P2P网络中的很多个节点同时记录一笔交易。

二、区块链怎么样同步数据

区块链怎么同步数据

区块链是一种去中心化的分布式账本，其中包含了许多节点，每个节点都拥有自己的拷贝。因为它是分布式的，每个节点的数据可能不同，因此需要同步数据，以保持整个区块链的一致性。

具体来说，区块链同步数据的过程可以分为以下几个步骤：

1.节点发现：每个节点都需要知道其他节点的存在，以便进行通信。因此，当一个新的节点加入网络时，它会向已知的节点发送请求，获取它们的IP地址和端口号，以便建立连接。

2.数据传输：节点之间通过网络进行数据传输。当一个节点发现自己的数据不完整或者过时时，它会向其他节点发送请求，获取最新的数据块。数据块是区块链中最基本的单元，每个数据块包含了一定的交易信息，以及指向前一个数据块的指针。

3.数据验证：当一个节点收到其他节点发送过来的数据块时，它会对数据块进行验证。验证的过程包括检查数据块的哈希值、交易记录和指向前一个数据块的指针等信息，以确保数据的完整性和正确性。

4.数据更新：当一个节点验证过一批数据块后，它会将这些数据块添加到自己的区块链中，更新自己的拷贝。同时，这个节点也会向其他节点广播自己的最新数据块，以便其他节点也可以更新自己的拷贝。

5.共识机制：区块链的共识机制是保证整个区块链数据一致的关键。每个节点都有权参与共识过程，以决定哪个数据块应该被添加到区块链中。不同的区块链采用不同的共识机制，例如比特币采用的是工作量证明（PoW）机制，以太坊采用的是权益证明（PoS）机制等。

综上所述，区块链同步数据的过程涉及节点发现、数据传输、数据验证、数据更新和共识机制等多个步骤，以确保整个区块链的数据一致性和完整性。

三、区块链里共识机制是什么

区块链技术中的共识机制是什么？

1.共识机制是什么

在一个去中心化的结构体系中，由于各个参与方的地位是平等的，当出现分歧的时候，如何达成共识就成了问题。

所以，一个设计精妙、实际操作起来简单的共识机制是一个分布式的体系能够顺利自运转下去的关键所在。

简而言之，共识机制就是在一个时间段内对事物的前后顺序达成共识的一种算法，是区块链节点就区块信息达成全网一致共识的机制。

什么是共识机制？

共识机制，简单说就是在一个时间段内对事物的前后顺序达成共识的一种算法。

在区块链上，共识机制就像一个国家的法律，维系着区块链世界的正常运转。在区块链上，每个人都会有一份记录链上所有交易的账本，链上产生一笔新的交易时，每个人接收到这个信息的时间是不一样的，有些想要干坏事的人就有可能在这时发布一些错误的信息，这时就需要一个人把所有人接收到的信息进行验证，最后公布最正确的信息。

目前，常用的共识机制有三种：

1、工作量证明机制(ProofofWork-PoW)是我们最熟知的一种共识机制。就如字面的解释，PoW就是工作越多，收益越大。这里的工作就是猜数字，谁能最快的猜出这个唯一的数字，谁就能做信息公示人。

2、权益证明机制(ProofofStake-PoS)也属于一种共识证明，它类似股权凭证和投票系统，因此也叫“股权证明算法”。由持有最多（token）的人来公示最终信息。

3、拜占庭共识算法（PracticalByzantineFaultTolerance-PBFT）也是一种常见的共识证明。它与之前两种都不相同，PBFT以计算为基础，也没有代币奖励。由链上所有人参与投票，少于（N-1）/3个节点反对时就获得公示信息的权利。

区块链的灵魂的共识机制是什么？

区块链，通俗地说，是一个去中心化的账本。只是这个账本与传统账本不同，不是由会计或少数几个人来记账，而是人人都可以参与记账。而且，这个记账需要一个大家都认可的规则，即“怎样记账才是有效”，而这个大家认可的规则就是区块链的共识机制。

一大家人计划去国外旅游，通过商议后，选了泰国，那么到泰国去旅游就是你们家形成的共识。而商议的方式，是少数服从多数，而少数服从多数就是你们家确定旅游目的地的共识机制。

同样，PoW、PoS、DPoS，分别代表区块链网络的三种主要记账规则，它们的作用非常大，直接关系到记账权和相关收益的分配。不夸张地说，共识机制是区块链的灵魂。

链乔教育在线旗下学硕创新区块链技术工作站是中国教育部学校规划建设发展中心开展的“智慧学习工场2020-学硕创新工作站”唯一获准的“区块链技术专业”试点工作站。专业站立足为学生提供多样化成长路径，推进专业学位研究生产学研结合培养模式改革，构建应用型、复合型人才培养体系。

区块链的共识机制

1.网络上的交易信息如何确认并达成共识？?

虽然经常提到共识机制，但是对于共识机制的含义和理解却并清楚。因此需要就共识机制的相关概念原理和实现方法有所理解。?

区块链的交易信息是通过网络广播传输到网络中各个节点的，在整个网络节点中如何对广播的信息进行确认并达成共识最终写入区块呢？?如果没有相应的可靠安全的实现机制，那么就难以实现其基本的功能，因此共识机制是整个网络运行下去的一个关键。

共识机制解决了区块链如何在分布式场景下达成一致性的问题。区块链能在众多节点达到一种较为平衡的状态也是因为共识机制。那么共识机制是如何在在去中心化的思想上解决了节点间互相信任的问题呢？?

当分布式的思想被提出来时，人们就开始根据FLP定理和CAP定理设计共识算法。规范的说，理想的分布式系统的一致性应该满足以下三点：

1.可终止性（Termination）：一致性的结果可在有限时间内完成。

2.共识性(Consensus)：不同节点最终完成决策的结果应该相同。

3.合法性(Validity)：决策的结果必须是其他进程提出的提案。

但是在实际的计算机集群中，可能会存在以下问题:

1.节点处理事务的能力不同，网络节点数据的吞吐量有差异

2.节点间通讯的信道可能不安全

3.可能会有作恶节点出现

4.当异步处理能力达到高度一致时，系统的可扩展性就会变差（容不下新节点的加入）。

科学家认为，在分布式场景下达成完全一致性是不可能的。但是工程学家可以牺牲一部分代价来换取分布式场景的一致性，上述的两大定理也是这种思想，所以基于区块链设计的各种公式机制都可以看作牺牲那一部分代价来换取多适合的一致性，我的想法是可以在这种思想上进行一个灵活的变换，即在适当的时间空间牺牲一部分代价换取适应于当时场景的一致性，可以实现灵活的区块链系统，即可插拔式的区块链系统。今天就介绍一下我对各种共识机制的看法和分析，分布式系统中有无作恶节点分为拜占庭容错和非拜占庭容错机制。

FLP定理即FLP不可能性，它证明了在分布式情景下，无论任何算法，即使是只有一个进程挂掉，对于其他非失败进程，都存在着无法达成一致的可能。

FLP基于如下几点假设：

仅可修改一次：?每个进程初始时都记录一个值（0或1）。进程可以接收消息、改动该值、并发送消息，当进程进入decidestate时，其值就不再变化。所有非失败进程都进入decidedstate时，协议成功结束。这里放宽到有一部分进程进入decidedstate就算协议成功。

异步通信：?与同步通信的最大区别是没有时钟、不能时间同步、不能使用超时、不能探测失败、消息可任意延迟、消息可乱序。

通信健壮：只要进程非失败，消息虽会被无限延迟，但最终会被送达；并且消息仅会被送达一次（无重复）。

Fail-Stop模型：进程失败如同宕机，不再处理任何消息。

失败进程数量：最多一个进程失败。

CAP是分布式系统、特别是分布式存储领域中被讨论最多的理论。CAP由EricBrewer在2000年PODC会议上提出，是EricBrewer在Inktomi期间研发搜索引擎、分布式web缓存时得出的关于数据一致性(consistency)、服务可用性(availability)、分区容错性(partition-tolerance)的猜想：

数据一致性(consistency)：如果系统对一个写操作返回成功，那么之后的读请求都必须读到这个新数据；如果返回失败，那么所有读操作都不能读到这个数据，对调用者而言数据具有强一致性(strongconsistency)(又叫原子性atomic、线性一致性linearizableconsistency)[5]

服务可用性(availability)：所有读写请求在一定时间内得到响应，可终止、不会一直等待

分区容错性(partition-tolerance)：在网络分区的情况下，被分隔的节点仍能正常对外服务

在某时刻如果满足AP，分隔的节点同时对外服务但不能相互通信，将导致状态不一致，即不能满足C；如果满足CP，网络分区的情况下为达成C，请求只能一直等待，即不满足A；如果要满足CA，在一定时间内要达到节点状态一致，要求不能出现网络分区，则不能满足P。

C、A、P三者最多只能满足其中两个，和FLP定理一样，CAP定理也指示了一个不可达的结果(impossibilityresult)。

区块链的四种共识机制

区块链的共识机制可以分为以下四类:权益证明机制、工作量证明机制、Pool验证和池股份授权证明机制。

区块链，就是一个又一个区块组成的链条。每一个区块中保存了一定的信息，它们按照各自产生的时间顺序连接成链条。这个链条被保存在所有的服务器中，只要整个系统中有一台服务器可以工作，整条区块链就是安全的。这些服务器在区块链系统中被称为节点，它们为整个区块链系统提供存储空间和算力支持。

区块链常见的三大共识机制

区块链是建立在P2P网络，由节点参与的分布式账本系统，最大的特点是“去中心化”。也就是说在区块链系统中，用户与用户之间、用户与机构之间、机构与机构之间，无需建立彼此之间的信任，只需依靠区块链协议系统就能实现交易。

可是，要如何保证账本的准确性，权威性，以及可靠性？区块链网络上的节点为什么要参与记账？节点如果造假怎么办？如何防止账本被篡改？如何保证节点间的数据一致性？……这些都是区块链在建立“去中心化”交易时需要解决的问题，由此产生了共识机制。

所谓“共识机制”，就是通过特殊节点的投票，在很短的时间内完成对交易的验证和确认；当出现意见不一致时，在没有中心控制的情况下，若干个节点参与决策达成共识，即在互相没有信任基础的个体之间如何建立信任关系。

区块链技术正是运用一套基于共识的数学算法，在机器之间建立“信任”网络，从而通过技术背书而非中心化信用机构来进行全新的信用创造。

不同的区块链种类需要不同的共识算法来确保区块链上最后的区块能够在任何时候都反应出全网的状态。

目前为止，区块链共识机制主要有以下几种：POW工作量证明、POS股权证明、DPOS授权股权证明、Paxos、PBFT（实用拜占庭容错算法）、dBFT、DAG（有向无环图）

接下来我们主要说说常见的POW、POS、DPOS共识机制的原理及应用场景

概念：

工作量证明机制（Proofofwork），最早是一个经济学名词，指系统为达到某一目标而设置的度量方法。简单理解就是一份证明，用来确认你做过一定量的工作，通过对工作的结果进行认证来证明完成了相应的工作量。

工作量证明机制具有完全去中心化的优点，在以工作量证明机制为共识的区块链中，节点可以自由进出，并通过计算随机哈希散列的数值解争夺记账权，求得正确的数值解以生成区块的能力是节点算力的具体表现。

应用：

POW最著名的应用当属比特币。在比特币网络中，在Block的生成过程中，矿工需要解决复杂的密码数学难题，寻找到一个符合要求的BlockHash由N个前导零构成，零的个数取决于网络的难度值。这期间需要经过大量尝试计算（工作量），计算时间取决于机器的哈希运算速度。

而寻找合理hash是一个概率事件，当节点拥有占全网n%的算力时，该节点即有n/100的概率找到BlockHash。在节点成功找到满足的Hash值之后，会马上对全网进行广播打包区块，网络的节点收到广播打包区块，会立刻对其进行验证。

如果验证通过，则表明已经有节点成功解迷，自己就不再竞争当前区块，而是选择接受这个区块，记录到自己的账本中，然后进行下一个区块的竞争猜谜。网络中只有最快解谜的区块，才会添加的账本中，其他的节点进行复制，以此保证了整个账本的唯一性。

假如节点有任何的作弊行为，都会导致网络的节点验证不通过，直接丢弃其打包的区块，这个区块就无法记录到总账本中，作弊的节点耗费的成本就白费了，因此在巨大的挖矿成本下，也使得矿工自觉自愿的遵守比特币系统的共识协议，也就确保了整个系统的安全。

优缺点

优点：结果能被快速验证，系统承担的节点量大，作恶成本高进而保证矿工的自觉遵守性。

缺点：需要消耗大量的算法，达成共识的周期较长

概念：

权益证明机制（ProofofStake），要求证明人提供一定数量加密货币的所有权。

权益证明机制的运作方式是，当创造一个新区块时，矿工需要创建一个“币权”交易，交易会按照预先设定的比例把一些币发送给矿工本身。权益证明机制根据每个节点拥有代币的比例和时间，依据算法等比例地降低节点的挖矿难度，从而加快了寻找随机数的速度。

应用：

2012年，化名SunnyKing的网友推出了Peercoin（点点币），是权益证明机制在加密电子货币中的首次应用。PPC最大创新是其采矿方式混合了POW及POS两种方式，采用工作量证明机制发行新币，采用权益证明机制维护网络安全。

为了实现POS，SunnyKing借鉴于中本聪的Coinbase，专门设计了一种特殊类型交易，叫Coinstake。

上图为Coinstake工作原理，其中币龄指的是货币的持有时间段，假如你拥有10个币，并且持有10天，那你就收集到了100天的币龄。如果你使用了这10个币，币龄被消耗（销毁）了。

优缺点：

优点：缩短达成共识所需的时间，比工作量证明更加节约能源。

缺点：本质上仍然需要网络中的节点进行挖矿运算，转账真实性较难保证

概念：

授权股权证明机制（DelegatedProofofStake），与董事会投票类似，该机制拥有一个内置的实时股权人投票系统，就像系统随时都在召开一个永不散场的股东大会，所有股东都在这里投票决定公司决策。

授权股权证明在尝试解决传统的PoW机制和PoS机制问题的同时，还能通过实施科技式的民主抵消中心化所带来的负面效应。基于DPoS机制建立的区块链的去中心化依赖于一定数量的代表，而非全体用户。在这样的区块链中，全体节点投票选举出一定数量的节点代表，由他们来代理全体节点确认区块、维持系统有序运行。

同时，区块链中的全体节点具有随时罢免和任命代表的权力。如果必要，全体节点可以通过投票让现任节点代表失去代表资格，重新选举新的代表，实现实时的民主。

应用：

比特股（Bitshare）是一类采用DPOS机制的密码货币。通过引入了见证人这个概念，见证人可以生成区块，每一个持有比特股的人都可以投票选举见证人。得到总同意票数中的前N个（N通常定义为101）候选者可以当选为见证人，当选见证人的个数（N）需满足：至少一半的参与投票者相信N已经充分地去中心化。

见证人的候选名单每个维护周期（1天）更新一次。见证人然后随机排列，每个见证人按序有2秒的权限时间生成区块，若见证人在给定的时间片不能生成区块，区块生成权限交给下一个时间片对应的见证人。DPoS的这种设计使得区块的生成更为快速，也更加节能。

DPOS充分利用了持股人的投票，以公平民主的方式达成共识，他们投票选出的N个见证人，可以视为N个矿池，而这N个矿池彼此的权利是完全相等的。持股人可以随时通过投票更换这些见证人（矿池），只要他们提供的算力不稳定，计算机宕机，或者试图利用手中的权力作恶。

优缺点：

优点：缩小参与验证和记账节点的数量，从而达到秒级的共识验证

缺点：中心程度较弱，安全性相比POW较弱，同时节点代理是人为选出的，公平性相比POS较低，同时整个共识机制还是依赖于代币的增发来维持代理节点的稳定性。

四、简述区块链的基本数据结构及其特性

区块链的基本数据结构及其特性如下：

区块链的基本数据结构包括区块和链。每个区块包含了一定数量的交易信息，以及前一个区块的数字指纹（也称为哈希值）。这个哈希值链接了所有之前的区块，从而形成了一条不可篡改的链。

具体来说，每个区块通常包含以下内容：

1、区块头：包含了前一个区块的哈希值、时间戳、当前区块的哈希值等关键信息。

2、区块体：包含了具体的交易信息，这些交易被打包成一个区块中。

3、在区块链中，每个新区块都必须通过特定的算法（如SHA-256）从上一个区块生成，这确保了每个新区块在逻辑上顺序排列，从而形成了一条不可篡改的链。此外，每个新区块都必须经过多个节点（即矿工）验证后才能被添加到区块链中，这增加了区块链的可靠性和安全性。

区块链的特性主要包括：

1、不可篡改：一旦一个区块被添加到区块链中，它就不能被更改，因为任何更改都会导致哈希值发生变化，从而破坏整个区块链的完整性。

2、匿名性：区块链中的交易信息通常是匿名的，这意味着交易的发起者可以保持匿名，除非他们选择公开身份。

3、去中心化：区块链不依赖于任何中心机构或第三方信任，而是通过分布式网络和共识机制来确保数据的一致性和可靠性。

4、透明度：虽然交易的发起者可以保持匿名，但区块链中的所有交易都是公开可查的，这增加了系统的透明度。

区块链的作用

1、建立去中心化、透明、安全、不可篡改的分布式数据库：区块链技术可以去除中间商和平台，实现点对点的交易和数据共享，降低了交易成本和风险。

2、提高数据的可靠性：区块链技术采用密码学和共识机制保证数据的安全性和不可篡改性，降低了数据泄露和篡改的风险。

3、保证交易的安全性和可追溯性：区块链技术可以记录商品物流信息，用于追踪商品来源。同时，区块链的交易担保功能解决了交易出现问题不知道找谁解决的问题，因为顾客自己写好的代码可以起到担保作用，在未确认收到合格产品前钱不会打到对方账户（分布式支付宝）。

4、促进市场行为人的身份管理：区块链可以管理市场行为人的身份，在用户需要的时候提供身份证明，用于在交易中帮助消费者确认卖家。