zookeeper连接工具_zookeeper连接命令

如何使用zookeeper实现程序重启

通过以上步骤即可完成问题复现。

记得在大约在2006年的时候Google出了Chubby来解决分布一致性的问题(distributed consensus problem)这个选项--producer实际上在Topic域上创建了(Write/Describe/Create)3个子权限：，所有集群中的通过Chubby最终选出一个Master ，这个Master 来协调工作。简单来说其原理就是：在一个分布式系统中，有...

zookeeper连接工具_zookeeper连接命令

zookeeper连接工具_zookeeper连接命令

目录状态：[5,5,,,0,1,0,0,12,1,6]

zookeeper是什么？和eureka区别是什么？

授权用户kafkaclient具有访问所有以'kafkaclient--'开头的topic的权限；这样带来的好处是，以后我们使得kafkaclient创建的topic全部以'kafkaclient--'开头，那么就不需要再为这些topic创建rule，一条rule就能够动态的管理新加的topic。

zookeeper与eureka的区别是：设计AWS在re:Invent 20会上首先发布了托管Apache Kafka消息队列服务（Amazon Mad Streaming for Apache Kafka，MSK）的消息，现在已经从预览成为正式服务。目的和用途、功能特性、一致性模型、部署方式、社区活跃度。

1、设计目的和用途：Zookeeper是一个分布式的、高可靠的协调服务，其主要用途是在分布式系统中保持各个之间的状态已经触发了 NodeDeleted ！和配置同步。它的核心原则是保持系统的一致性和可用性。而Eureka则是一个用于服务发现和负载均衡的工具，它的主要目的是使服务之间的通信更加可靠和高效。

2、功能特性：Zookeeper提供了一套完整的数据模型和API，使开发人员可以基于Zookeeper构建复杂的分布式应用。它支持分布式锁、通知机制等功能，并提供了强一致性的数据存储能力。而Eureka则专注于服务注册和发现的功能，它通过心跳机制和负载均衡算法来保证服务的高可用性和可靠性。

3、一致性模型：Zookeeper使用的是Zab（Zookeeper Atomic Broadcast）协议，该协议能够保证分布式系统中的数据一致性。它通过选举机制选择一个Leader来处理客户端请求，其他作为Follower进行数据同步。而Eureka则使用AP（可用性与分区容忍性）模型，即允许服务之间的数据不一致，但保证系统的可用性。

4、部署方式：Zookeeper通常以集群的形式进行部署，通过多个来提供高可用的服务。它使用Leader-Follower模式来保证系统的稳定性和可用性。而Eureka则可以以单或集群的方式进行部署，部署相对简单，适合小型的分布式系统。

5、社区活跃度：由于Zookeeper是一个成熟的开源项目，拥有广泛的用户社区和活跃的开发者，因此可以享受到强大的支持和稳定的更新。而Eureka在Netflix公司开源后，由于其在Netflix内部使用的普及度较高，导致社区活跃度相对较低，对于一些新的功能和问题，可能需要用户自行解决。

Zookeeper在哪些系统中使用，又是怎么用的

5）创建连接，支持重试Leader选举即从大量集群中选举一个Leader，是zookeeper中最为经典的使用场景，在分布式环境中选举的Leader好快会直接影响集群的效率。Leader主要负责相同的业务应用分布在不同的机器上共用的逻辑模型和数据的调配，的调配方案可以大大减少重复运算，提高性能降低集群的负载。

在Zookeeper的官 网上有这么一句话：ZooKeeper is a centralized serv for maintaining configuration rmation, naming, providing distributed synchronization, and providing group servs. 这大概描述了Zookeeper主要可以干哪些事情：配置管理，名字服务，提供分布式同步以及集群管理。那这些服务又到底是什么呢？我们为什么需要这样的服务？我们又为什么要使用Zookeeper来实现呢，使用Zookeeper有什么优势？接下来我会挨个介绍这些到底是什么，以及有哪些开源系统中使用了。 配置管理 在我们的应用中除了代码外，还有一些就是各种基本作配置。比如数据库连接等。一般我们都是使用配置文件的方式，在代码中引入这些配置文件。但是当我们只有一种配置，只有一台，并且不经常修改的时候，使用配置文件是一个很好的做法，但是如果我们配置非常多，有很多都需要这个配置，而且还可能是动态的话使用配置文件就不是个好主意了。这个时候往往需要寻找一种集中管理配置的方法，我们在这个集中的地方修改了配置，所有对这个配置感兴趣的都可以获得变更。比如我们可以把配置放在数据库里，然后所有需要配置的服务都去这个数据库读取配置。但是，因为很多服务的正常运行都非常依赖这个配置，所以需要这个集中提供配置服务的服务具备很高的可靠性。一般我们可以用一个集群来提供这个配置服务，但是用集群提升可靠性，那如何保证配置在集群中的一致性呢？ 这个时候就需要使用一种实现了一致性协议的服务了。Zookeeper就是这种服务，它使用Zab这种一致性协议来提供一致性。现在有很多开源项目使用Zookeeper来维护配置，比如在HBase中，客户端就是连接一个Zookeeper，获得必要的HBase集群的配置信息，然后才可以进一步作。还有在开源的消息队列Kafka中，也使用Zookeeper来维护broker的信息。在Alibaba开源的SOA框架Dubbo中也广泛的使用Zookeeper管理一些配置来实现服务治理。 名字服务 名字服务这个就很好理解了。比如为了通过网络访问一个系统，我们得知道对方的IP地址，但是IP地址对人非常不友好，这个时候我们就需要使用域名来访问。但是计算机是不能是别域名的。怎么办呢？如果我们每台机器里都备有一份域名到IP地址的映射，这个倒是能解决一部分问题，但是如果域名对应的IP发生变化了又该怎么办呢？于是我们有了DNS这个东西。我们只需要访问一个大家熟知的(known)的点，它就会告诉你这个域名对应的IP是什么。在我们的应用中也会存在很多这类问题，特别是在我们的服务特别多的时候，如果我们在本地保存服务的地址的时候将非常不方便，但是如果我们只需要访问一个大家都熟知的访问点，这里提供统一的入口，那么维护起来将方便得多了。 分布式锁 其实在篇文章中已经介绍了Zookeeper是一个分布式协调服务。这样我们就可以利用Zookeeper来协调多个分布式进程之间的活动。比如在一个分布式环境中，为了提高可靠性，我们的集群的每台上都部署着同样的服务。但是，一件事情如果集群中的每个都进行的话，那相互之间就要协调，编程起来将非常复杂。而如果我们只让一个服务进行作，那又存在单点。通常还有一种做法就是使用分布式锁，在某个时刻只让一个服务去干活，当这台服务出问题的时候锁释放，立即fail over到另外的服务。这在很多分布式系统中都是这么做，这种设计有一个更好听的名字叫Leader Election(leader选举)。比如HBase的Master就是采用这种机制。但要注意的是分布式锁跟同一个进程的锁还是有区别的，所以使用的时候要比同一个进程里的锁更谨慎的使用。 集群管理 在分布式的集群中，经常会由于各种原因，比如硬件故障，软件故障，网络问题，有些会进进出出。有新的加入进来，也有老的退出集群。这个时候，集群中其他机器需要感知到这种变化，然后根据这种变化做出对应的决策。比如我们是一个分布式存储系统，有一个控制负责存储的分配，当有新的存储进来的时候我们要根据现在集群目前的状态来分配存储。这个时候我们就需要动态感知到集群目前的状态。还有，比如一个分布式的SOA架构中，服务是一个集群提供的，当消费者访问某个服务时，就需要采用某种机制发现现在有哪些可以提供该服务(这也称之为服务发现，比如Alibaba开源的SOA框架Dubbo就采用了Zookeeper作为服务发现的底层机制)。还有开源的Kafka队列就采用了Zookeeper作为Cosnumer的上下线管理。 后记 在这篇文章中，列出了一些Zookeeper可以提供的服务，并给出了一些开源系统里面的实例。后面我们从Zookeeper的安装配置开始，并用示例进一步介绍Zookeeper如何使用。 (转载）

给kafka配置外部连接

详细的用法配置请参考kafka-topics.sh部分，不细说。

在公司的测试环境中，有的应用需要远程连接kafka，本地有时也是需要连接到kafka进行Debug，这就需要将kafka配置成外部可连接。想要实现这种效果，有两种实现方法，种方法是将所有kafka的连接都配置成公网IP连接。第二种方法是采用kafka的内外分离配置。方法一虽然能够实现kafka的外部连接，可是上面对kafka的连接也会默认使用公网Izk.create("/testRootPath", "testRootData".getBytes(), Ids.OPEN_ACL_UNSAFE,P的方式连接，而不是内网，这样会给实例的公网带宽带来很大的压力，应用一多，就会造成实例无法进行登录。而方法二就可以有效的避免这种现象了，它是将云上本地应用采用内网来连接kafka，而同时又采用不同的端口配置外网连接，这样能够有效的减少公网带宽的压力。

这种做法可行，但是存在两个比较明显的问题：

Zookeeper异常宕机重启失败分析

ZooKeeper的目标就是封装好复杂易出错的关键服务，将简单易用的接口和性能高效、功能稳定的系统提供给用户。ZooKeeper包含一个简单的原语集，提供Ja和C的接口。ZooKeeper代码版本中，提供了分布式独享锁、选举、队列的接口。

一体机中使用了单机模式的zookeeper（开机自启服务），一体机经常会遇到断电重启的场景，在运行过程中偶现无法开机启动问题，再次断电重新启动可以正常启动

和producer相比，consumer还有一个额外的参数--group，如果没有限制，则置成''即可；这个--consumer的选择实际上在Topic域上创建了(Read/Describe)2个子权限，然后在Group域创建了(Read)1个子权限：

kill -0 pid 不发送任何信号，但是系统会进行错误检查。所以经常用来检查一个进程是否存在，存在返回0；不存在返回1

consumer用的脚本是/opt/kafka/bin/kafka-console-consumer.sh，注意和生产者producer一样，consumer也是和kafka打交道的(相对于bin/kafka-topics.sh是和zookeeper打交道的)，所以：查看脚本 zk.sh 内容

查看脚本 zk.sh 内容

查看脚本 zk.sh 内容

设当兵设备异常断电关机，此时zookeepr的进程号是9966，此时pid的文件内容为9966，当一体机开机自启动时，如果已经有其他进程的进程号为9966时，此时zookeepr的启动脚本发现pid文件存在，且9966进程活着，则认为zookeepr已经正常启动，此时启动脚本啥事也不做只打印日志 already running as process pid ,此时zookeepr进程没有启动，紧接着skynet启动发现无法连接zookeeper，此时启动失败。

一体机开机自启服务中使用restart命令即可。

单机模式部署不需要新建 myid 文件和 zoo.cfg 配置项中添加

这种模式有如下问题

建议单机模式下不新建 myid 文件并删除配置 server.1

zookeeper怎么用ja创建临时

zk.create("/testRootPath/testChildPathTwo", "testChildDataTwo".getBytes(),

下面给出基本的作 ZooKeeper 的示例代码，这样你就能对 ZooKeeper 有直观的认识了。下面的清单包括了创建与 ZooKeeper 的连接以及最基本的数据作：

注意工具bin/kafka-topics.sh访问的是zookeeper而不是kafka，即他是一个zookeeper client而不是一个kafka client，所以它的认证都是通过zookeeper完成的。

ZooKeeper 基本的作示例

// 创建一个与的连接

ZooKeeper zk = new ZooKeeper("localhost:" + CLIENT_PORT,

Base.CONNECTION_TIMEOUT, new Watcher() {

// 所有被触发的

public void process(WatchedEvent nt) {

System.out.println("已经触发了" + nt.getType() + "！");

}});

// 创建一个目录

// 创建一个子目录

zk.create("/testRootPath/test还需要配置client用户信息，并传给JVM参数：ChildPathOne", "testChildDataOne".getBytes(),

Ids.OPEN_ACL_UNSAFE,CreateMode.PERSISTENT);

System.out.println(new String(zk.getData("/testRootPath",false,null)));

// 取出子目录列表

// 修改子目录数据

System.out.println("目录状态：["+zk.exists("/testRootPath",true)+"]");

// 创建另外一个子目录

Ids.OPEN_ACL_UNSAFE,CreateMode.PERSISTENT);

System.out.println(new String(zk.getData("/testRootPath/testChildPathTwo",true,null)));

// 删除子目录

zk.delete("/testRootPath/testChildPathOne",-1);

// 删除父目录

zk.delete("/testRootPath",-1);

// 关闭连接

zk.close();

输出的结果如下：

[testChildPathOne]

testChildDataTwo

当对目录状态打开时，一旦目录的状态发生变化，Watcher 对象的 process 方法就会被调用。

kafka ACL常用权限作

CreateMode.PERSISTENT);

kafka ACL常用权限作

命令的配置可以直接修改jvm的启动脚本，或System.out.println(zk.getChildren("/testRootPath",true));者设置在环境变量里：

使用bin/kafka-topics.sh创建

Case 1：如果zookeeper没有配置ACL激活：

Case 2：如果zookeeper已经配置ACL激活：

命令还是前面的那个命令，但是必须提供ja.security.auth.login.config指向jaas.conf文件。例如：

这里配置的用户必须是zookeeper服务端已经配置运行可以访问的客户端用户。例如，下面的zookeeper服务端配置：

运行客户端为admin的用户作为zookeeper客户端连接访问。

查询topic作的ACL认证，同前面创建topic作的认证一样，不细说，参考前面。

删除topic作的ACL认证，同前面创建topic作的认证一样，不细说，参考前面。

producer用的脚本是/opt/kafka/bin/kafka-console-producer.sh，注意这个producer脚本是和kafka打交道的(相对bin/kafka-topics.sh是和zookeeper打交道的)，所以：

命令行格式：

文件/path/to/client-sasl.properties

此时如果没有授权，则会得到如下错误信息：

赋予producer的权限：

当然用户也可以单独创建者三个子权限。

命令行格式：

选项--from-begining可以调整成其他值；配置文件/path/to/client-sasl.properties和producer的一样，不细说，参考生产者。

此时如果没有授权，则会得到如下错误信息：

赋予consumer的权限：

这个地方我们注意一下，consumer没有Create的权限，所以如果kafka配置成，而此时topic不存在，那么consumer试图创建topic的时候会失败，那就需要一条单独的Create授权规则来给consumer增加Create权限。

权限管理工具以命令行的方式管理权限，可以增加/删除/列举所有的权限规则。

基本用法：

授权用户kafaclient具有Read topic kafaclient--topic的权限。

查看当前在topic kafkaclient--topic上面的权限列表。

另外注意，和kafka-topics.sh一样，kafka-acls.sh也是直接访问zookeeper的，而不是访问kafka，所以它的认证方式和kafka-topics.sh是一样的：

例如：

其实我对这个还是不满意，如果能够定义灵活规则就好了；因为上面的限制，我还是需要为每一个用户添加一条规则，而我想为所有的用户只用一条规则，这条规则就是：任何用户具有访问以这个用户名开头的所有的topic；这样不管以后新加topic还是新加用户，都不用再新加rule了。遗憾的是目前kafka还是不支持这个功能。类似：

[Hive] - Beeline 偶发 Unable to read Hive2 uri from ZooKeeper 问题

用户有大量的并发 beeline hive sql 任务，偶发 Unable to read Hive2 uri from ZooKeeper 报错。

hive 版本：hdp 1.2.1

修改 beeline connect 增加 ret1.1.写数据，一个客户端进行写数据请求时，会指定Zookeeper集群，如果是Follower接收到写请求，会把请求转发给Leader，Leader通过内部的Zab协议进行原子广播，直到所有Zookeeper都成功写了数据，然后Zookeeper会给发回写完响应。ries。

beeline 修改前:

beeline 修改后 ：

通过阅读源码，hiveserver2 连接步骤大致如下：

1）获取连接 ，如果是 servDiscoveryMode=zooKeeper ，动态的方式获取真正的连接信息与配置

2）通过 ZK 获取 hiveserver2 所有，对应的路径为/hiveserver2/。路径格式为： "/" + zooKeeperNamespace ：这个 zooKeeperNamespace 就是连接串里面配置的 hiveserver2。

3命名服务指通过指定的名字获取资源或者服务提供者的信息。分布式应用中，通常需要有一套完整的命名规则，既能够产生的名称又便于识别和记忆。通常情况下使用树形的名称结构是一个理想的选择，树形的名称结构是一个有层次的目录结构，即对人友好又不会重复。）从 list 中随机取一个 Znode，获取 zk 中 Znode 的值

4）解析 ，获取真正的 hiveserver2 的地址与端口等信息

问题在于:

一个小建议：遇到此类问题，直接看源码是的， 不要去网上瞎找。

Hive 3.x 的版本请注意这个 issue： ，也可能会导致随机的失败

AWS正式发布Kafka云服务，不用再为配置复杂心了

已经触发了 None ！

Apache Kafka是一个分布式的消息队列系统，其使用发布以及的架构，将产生的流数据的应用与利用流数据的角色分离。Apache Kafka让使用者可以捕捉如消息队列、交易、物联网等，或是应用与日志等流数据，还能实时进行分析，连续不间断地转换数据，并再将收到的数据经过处理后，分发到其他的数据湖和数据库中。

zk.setData("/testRootPath/testChildPathOne","modifyChildDataOne".getBytes(),-1);

AWS提到，用户在生产环境中要配置Apache Kafka，需要克服一些障碍，特别是在后续的管理以及规模扩展工作上，而现在AWS正式推出的MSK服务，则由AWS负责管理任务，让用户可以简单地配置使用，而且由于近几个版本的Kafka，都需要与协调程序Zookeeper共同使用，因此MSK服务也只要简单地设定，就能让Kafka与ZooKeeper一同运行。

使用MSK服务，用户可以在几分钟内创建集群，并使用AWS身分管理与访问控制IAM管理集群作，也能通过ACM（AWS Certificate Mar）完全托管的TLS私密凭证颁发机构授权客户端，以TLS加密数据，并使用KMS（AWS Key Mament Serv）中的密钥加密其他数据。当发生故障时，MSK还会替换故障机器，自动执行修补，用户可以从Amazon CloudWatch中，服务的状态指标。

AWS表示，MSK与Kafka 1.1.1和2.1.0版本完全兼容，因此用户可以在AWS直接执行原本的Kafka应用以及工具，而不需要修改任何的代码，用户能使用开源工具MirrorMaker，将数据从前面说了 ZooKeeper 主要是用来维护和一个目录树中存储的数据的状态，所有我们能够作 ZooKeeper 的也和作目录树大体一样，如创建一个目录，给某个目录设置数据，获取某个目录的所有子目录，给某个目录设置权限和这个目录的状态变化。现有的Kafka集群直接迁移到MSK上。