hive怎么读_Hive怎么读英语

在Hive中如何实现数据分区

4. Hive几种数据导入方式和动态分区,多表插入

一、Hive only：加载分区数据的快捷方法

hive怎么读_Hive怎么读英语

hive怎么读_Hive怎么读英语

如果指定的分区不存在Hive将创建新的分区

这个命令将：

（1）如果不存在的话添加分区到表的元数据

（2）如果存在的话，创建子目录：/user/hive/warehouse/call_logs/call_date=2014-10-02

（3）移动HDFS文件call-20141002.log到分区子目录

二、查看、添加和移除分区

（1）查看当前表分区

（2）使用ALTER TABLE添加或删除分区

三、 从已存在的分区目录创建分区

（1）HDFS的分区目录可以在Hive或Impala之外进行创建和数据，比如：通过Spark或MapReduce应用

（2） Hive中使用MSCK REPAIR TABLE命令来为已存在的表创建分区

四、什么时候使用分区

下列情况使用分区

（1）读取整个数据集需要花费很长时间

（2）查询几乎只对分区字段进行过滤

（3）分区列有合理数量的不同的值

（4）数据生成或ETHive配置：HDFS中Hive数据文件存放目录（启动hive后HDFS自动创建）：HDFS: /usr/hive/warehousehadoop fs -mkdir /usr/hive/warehouse 命令创立本地数据存放目录：本地：/home/santiago/data/hive一.从本地文件系统中导入数据到Hive表1.在hive中建表hive> show databases;OKdefaultTime taken: 1.706 seconds, Fetched: 1 row(s)hive> create table guo_test(Name string,String string)> row format delimited> fields terminated by ','> stored as textfile;hive> show tables;OKguo_testTime taken: 0.024 seconds, Fetched: 1 row(s)12345678011122.在本地文件建立同类型数据表santi@hdp:~/data/hive$ lshive_test.txtsanti@hdp:~/data/hive$ cat hive_test.txtsanti,you are a zhazha.12343.导入数据并测试hive>load data local inpath '/home/santi/data/hive/hive_test.txt' into table guo_test;hive> select from guo_test;hive>dfs -ls /usr/hive/warehouse/guo_test;#hadoop fs -ls /usr/hive/warehouseFound 1 sdrwxrwxr-x - santiago supergroup 0 2017-01-14 21:13/usr/hive/warehouse/guo_test12345678发现hive-site,xml设置的HDFS文件存储位置中多了guo_test这个文件夹#hadoop fs -ls /usr/hive/warehouse/guo_testFound 1 s-rwxrwxr-x 1 santiago supergroup 24 2017-01-14 21:13/usr/hive/warehouse/guo_test/hive_test.txthive> select from guo_test;OKsanti you are a zhazha.12345678在该文件夹中找到了所写入hive数据仓库的文件。[注]本地数据写入成功，但是从本地将数据导入到Hive表的过程中，其实是先将数据临时到HDFS的一个目录下（典型的情况是到上传用户的HDFS home目录下，比如/home/santi/），然后再将数据从临时目录下移动到对应的Hive表的数据目录里面（临时目录不保留数据）。L过程是按文件或目录名来分段数据的

（5）分区列值不在数据本身

五、什么时候不使用分区

（1）避免把数据分区到很多小数据文件

– 不要对有太多惟一值的列进行分区

（2）注意：当使用动态分区时容易发生

– 比如：按照fname来分区客户表会产生上千个分区

六、 Hive进行分区

但是在hive分区中我们应该注意一些问题,比如：

（1）注意：Beeline设置的Hive变量只在当前会话有效，系统可以设置生效

（2）注意：如果分区列有很多值，将会创建很多分区

另外，我们可以给Hive配置参数来限制分区数 ：

（1） hive.exec.max.dynamic.partitions.pernode

查询在某个上可以创建的动态分区数，默认100

（2） hive.exec.max.dynamic.partitions

一个HiveQL语句可以创建的动态分区数 ，默认1000

（3）hive.exec.max.created.files

一个查询总共可以创建的动态分区数，默认1000000

hive，impala，kfk，hbase，mitaka的关系是怎样的

hbase在三者中更注重的是存储，它实现了类似mysql的double write机制，但是它是4、高容错性。Hadoop能够自动保存数据的多个副本，并且能够自动将失败的任务重新分配。一种NoSQL的数据库，并且是可以支持列式存储的，算是比较大的一个内存Hash表。hbase也采用了类似mysql中的mvcc的思想通过时间戳来做版本控制。

hbase是在hdfs基础之上的，可以算是数据的一种组织方式，是一种基于hadoop的分布式数据库系统。从数据库的角度来说，与mysql处在同一个层次，都是基于文件系统之上的管理数据的一种方法。

hbase作为面向列的数据库，支持按列读取和行读取，并解决了关系型数据库的分表的一些需求，如:关系型数据库中有些表的列重复数据太多了，需要重新建表来存重复列的数据，减少表的大小。

hive和impala则更偏向于查询分析，impala需要依赖hive的元数据，它们都有自己的查询分析引擎，只是impala是纯查询分析引擎。

hive 本身并不执行任务的分析过程，而是推给了mapreduce,这点与impala大不同,hive本身提供了数据的格式化输出功能,但是hive转换的mr可能不是效的，调优方式有限，很多复杂的算法没有办法表达，毕竟sql的语义表达能力有限。

hive与impala在查询分析这部分,hive明显的支持程度要比impala高,提供了很多内部函数，并且支持U此时，如果logstash版本是5.x，可能会遇到一个错误：DAF,UDF的方式

从数据库特性角度来看，hive与hbase的对比,hive不能修改数据，只能追加的方式，hbase允许增加和删除数据,hive不支持索引，impala和hive都是没有存储引擎的，hbase算是有自己的存储引擎。

在使用层面上来看，hive在使用上更像数据库，它提供非常丰富的系统函数，各种数据的作，hbase在这方面就不太像一般的关系型数据库，它还是一个key-val的NoSQL,这方面的作支持很有限，impala在这方面也是比较弱。

在计算模型层面上来看，hive是通过MR来计算的，这是一个偏向挪动数据到mr的计算来计算的模型，而impala则更多的是移动计算需求到DN上来做，数据不用动，变成了本地的磁盘IO。

如何通俗地理解Hive的工作原理

Hive是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。Hive 定义了简单的类 SQL 查询语言，称为 HQL，它允许熟悉 SQL 的用户查询数据。同时，这个语言也允许熟悉 MapReduce 开发者的开发自定义的 mapper 和 reducer 来处理内建的 mapper 和 reducer 无法完成的复杂的分析工作。

流程大致步SELECT CONCAT('alter table ', TABLE_NAME, ' CHANGE COLUMN ', COLUMN_NAME, ' ', COLUMN_NAME, ' ', DATA_TYPE, ' comment ', '"', COLUMN_COMMENT, '"', ';')骤为：

1. 用户提交查询等任务给Driver。

2. 编译器获得该用户SELECT CONCAT('create table ', TABLE_NAME, '(', substring(column_, 1, length(column_) - 1), ')', ' comment ', '"', TABLE_COMMENT, '"', ';')的任务Plan。

3. 编译器Compiler根据用户任务去MetaStore中获取需要的Hive的元数据信息。

4. 编译器Compiler得到元数据信息，对任务进行编译，先将HiveQL转换为抽象语法树，然后将抽象语法树转换成查询块，将查询块转化为逻辑的查询，重写逻辑查询，将逻辑转化为物理的（MapReduce）, 选择的策略。

6. Driver将Plan转交给ExecutionEngine去执行，获取元数据信息，提交给JobTracker或者SourceMar执行该任务，任务会直接读取HDFS中文件进行相应的作。

7. 获取执行的结果。

8. 取得并返回执行结果。

spark与hive查询得出的数据不同

在旧的Hive版本中，动态分区默认没有启用 ，通过设置这两个属性启用：

在实际工作的情况中，经常有spark与hive查询出来的数据存在不一样的情况，基本的原因如下：

1、由于精度不一样导致的

2、更多的时候确实是由于元数据混乱导致的

（就是说hive中能读到这个字段的值，但是在spark中却无法读取到该字段的值。

很多时候可总结能还是由于大小写的混乱所导致的）

设置

spark.sql.hive.convertMetastoreOrc=false

convertMetastoreParquet=false

原因:

spark用自己的格式读取hive文件后进行自动转换后进行作

Pig和Hive有什么不同

当然，继续增强之前的Spark，完全可以实现这个功能。但是说到ETL，不是有专业强大的Logstash吗，为什么要重复造轮子？

Pig是一种编程语言，它简化了Hadoop常见的工作任务。Pig可加载数据、表达转换数据以及存储最终结果。Pig内置的作使得半结构化数据变得有意义（如日志文件）。同时Pig可扩展使用Ja中添加的自定义数据类型并支持数据转换。

Hive（或者直接将windows的环境变量path中添加该目录）在Hadoop中扮演数据仓库的角色。Hive添加数据的结构在HDFS（hive superimes structure on data in HDFS），并允许使用类似于SQL语法进行数据查询。与Pig一样，Hive的核心功能是可扩展的。

Hive更适合于数据仓库的任务，Hive主要用于静态的结构以及需要经常分析的工作。Hive与SQL相似促使其成为Hadoop与其他BI工具结合的理想交集。Pig赋予开发人员在大数据集领域更多的灵活性，并允许开发简洁的脚本用于转换数据流以便嵌入到较大的应用程序。Pig相比Hive相对轻量，它主要的优势是相比于直接使用Hadoop Ja APIs可大幅削减代码量。

本质上说说Pig与Hive。

经过Pig Latin的转换后变成了一道MapReduce的作业，通过MapReduce多个线程，进程或者系统并行执行处理的结果集进行分类和归纳。Map() 和 Reduce() 两个函数会并行运行，即使不是在同一的系统的同一时刻也在同时运行一套任务，当所有的处理都完成之后，结果将被排序，格式化，并且保存到一个文件。Pig利用MapReduce将计算分成两个阶段，个阶段分解成为小块并且分布到每一个存储数据的上进行执行，对计算的压力进行分散，第二个阶段聚合个阶段执行的这些结果，这样可以达到非常高的吞吐量，通过不多的代码和工作量就能够驱动上千台机器并行计算，充分的利用计算机的资源，打消运行中的瓶颈。

也就是说，Pig的作用就是对mapreduce算法(框架)实现了一套shell脚本 ，类似我们通常熟悉的SQL语句，在Pig中称之为Pig Latin，在这套脚本中我们可以对加载出来的数据进行排序、过滤、求和、分组(group by)、关联(Joining)，Pig也可以由用户自定义一些函数对数据集进行作，也就是传说中的UDF(user-defined functions)。

结论性的阅读感觉是：Pig用来写一些即时脚本吧，比如问你要份数据，半个小时要出来之类；Hive嘛，就是一个产品过来，问这个啥回事?于是你Hive一下，一个简洁的类SQL语句...Done！

来源：商业智能和数据仓库爱好者

有hadoop。。。。，，，陪，，，训。。。

源码级解读如何解决Spark-sql读取hive分区表执行效率低问题

同一条sql,hive能生成表,而spark却生成的一张空表,或者数据缺少,存在null值,与hive结果不一致

问题描述

如我输入的命令行：mysql>source news.sql;

在开发过程中使用spark去读取hive分区表的过程中（或者使用hive on spark、nodepad开发工具），部分开发人员未注意添加分区属性过滤导致在执行过程中加载了全量数据，引起任务执行效率低、磁盘IO大量损耗等问题。

解决办法

1、自定义规则CheckPartitionTable类，实现Rule，通过以下方式创建SparkSession。

2、自定义规则CheckPartitionTable类，实现Rule，将规则类追加至Optimizer.batches: Seq[Batch]中，如下。

规则内容实现

1、CheckPartitionTable规则执行类，需要通过引入sparkSession从而获取到引入conf；需要继承Rule[LogicalPlan]；

2、通过splitPredicates方法，分离分区谓词，得到分区谓词表达式。在sql解析过程中将谓词解析为TreeNode，此处采用递归的方式获取分区谓词。

3、判断是否是分区表，且是否添加分区字段。

4、实现Rule的apply方法

大数据JUC面试题

大数据之Kafka集群部署

大数据logstsh架构

大数据技术kafka的零拷贝

多线程写入hive数据不一致

大数据和云计算的关系

背景介绍

使用hive进行数据存储和查询已经成为大数据领域的重要方法之一。相较于以往的关系型数据库，hive具有更好的扩展性和容错性。在实际的生产环境中，为了提高系统的并发能力，我们往往采用多线程的方式对hive进行写入作。

多线程写入作的问题

造成数据不一致的原因

造成数据不一致的原因主要包括以下几个方面：

竞争关2、高扩展性。Hadoop是在可用的计算机集簇间分配数据并完成计算任务的，这些集簇可以方便地扩展到数以千计的中 。系

在多线程并发写入数据时，由于存在竞争关系，导致数据写入的顺序发生了错误，从而引起数据不一致的情况。

线程安全问题

在多线程环境下，由于线程安全问题，可能会导致数据的写入、读取出现错误，最终导致数据不一致的情况。

网络问题

由于网络的延迟等原因，可能会导致多线程写入数据的顺序出现错误，从而引起数据不一致的情况。

解决方法

为了解决多线程写入hive数据不一致的问题，我们可以采取以下几个方法：

使用同步机制，保证多个线程在对同一个数据进行写入时不会产生竞争关系，从而避免数据不一致的情况。

事务

通过使用事务机制，保证数据的写入是原子作，从而避免了数据不一致的情况。

队列作

将数据写入到队列中，然后由单个线程将队列中的数据依次写入hive中，从而避免了多线程同时写入数据的情况。

多线程写入hive数据不一致是在大数据环境下经常遇到的问题之一，需要我们在实际生产中选择适合的解决方案来保证数据的一致性。在对数据进行并发读写时，我们需要注意线程安全问题，选择合适的同步机制和事务机制，才能保证系统的稳定性。

hvie与关系型数据库有什么区别

hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。

优点：学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。

hive与关系型数据库的区别

1、数据加载

关系数据库：表的加载模式是在数据加载时候强制确定的（表的加载模式是指数据库存储数据的文件格式），如果加载数据时候发现加载的数据不符hive将用户提交的SQL解析成mapreduce任务供hadoop直接运行，结合两者的优先将excel表中数据另存转化为data.csv格式，转化为.csv格式的文件默认就是用“，”进行分割的，可以用notepad++打开data.csv格式查看。然后再讲数据导入到hive仓库中即可。但是执行如下导入语句时，发现报错，显示Wrong file format。势，进行数据决策。一个擅长大数据并行计算，一个支持SQL数据查询，方便是显而易见的。但hive只要还是读作合模式，关系数据库则会拒绝加载数据，这个就叫“写时模式”，写时模式会在数据加载时候对数据模式进行检查校验的作。

Hive：hive在加载数据时候不会对数据进行检查，也不会更改被加载的数据文件，而检查数据格式的作是在查询作时候执行，这种模式叫“读时模式”。

在实际应用中，写时模式在加载数据时候会对列进行索引，对数据进行压缩，因此加载数据的速度很慢，但是当数据加载好了，我们去查询数据的时候，速度很快。

但是当我们的数据是非结构化，存储模式也是未知时候，关系数据作这种场景就麻烦多了，这时候hive就会发挥它的优势。

2、

关系数据库：可以对某一行或某些行的数据进行更新、删除作。更新、事务和索引等等。

hive：不支持对某个具体行的作，也不支持事务和索引，hive对数据的作只支持覆盖原数据和追加数据。

hive的设计是对海量数据进行处理，全数据的扫描时常态。针对某些具体数据进行作的效率是的，对于更新作，hive是通过查询将原表的数据进行转化存储在新表里，这和传统数据库的更新作有很大不同。

3、

Hive也可以在hadoop做实时查询上做一份自己的贡献，那就是和hbase集成，hbase可以进行快速查询，但是hbase不支持类SQL的语句，那么此时hive可以给hbase提供sql语法解析的外壳，可以用类sql语句作hbase数据库。

Mysql元数据如何生成Hive建表语句注释脚本详解

然而，多线程写入hive数据时也会出现一些问题，其中最常见的就是数据不一致的情况。数据不一致是指在多个线程同时写入数据时，由于线程之间的竞争关系，导致数据写入的顺序发生了错误，最终只有部分数据被写入了hive中。

前言

本文主要给大家介绍了关于Mysql元数据生成Hive建表语句注释脚本的相关内容，分享出来供大家参考学习，下面话不多说了，来一起看看详细的介绍：

注：其他关系型数据库如：oracle 可以通过相同的思路，读取元数据，修改脚本语法实现。

使用：工作中我们遇到了把Hive数据同步到Clickhouse的业务需求，一开始我们写Spark任务，用SparkSQL读Hive，再用JDBC写入到Clickhouse。

FROM COLUMNS

WHERE TABLE_NAME = 'o_oms_statistic_profit'

) t;

在将数据从Mysql 等其他关系型数据库 抽取到Hive 表中时，需要同步mysql表中的注释，以下脚本可以生成hive创建表语句。只是生成了hive表主要的字段信息，其他信息需要手工添加。

FROM (SELECT TABLE_NAME, TABLE_COMMENT, group_concat(CONCAT(COLUMN_NAME, ' ', DATA_TYPE, ' comment ', '"', COLUMN_COMMENT, '"')) AS column_

FROM (SELECT t1.TABLE_NAME, CASE WHEN t2.TABLE_COMMENT = NULL THEN t1.TABLE_NAME ELSE t2.TABLE_COMMENT END AS TABLE_COMMENT, COLUMN_NAME, CASE WHEN DATA_TYPE = 'varchar' THEN 'string' WHEN DATA_TYPE = 'int' THEN 'int' WHEN DATA_TYPE = 'tinyint' THEN 'tinyint' WHEN DATA_TYPE = 'decimal' THEN 'double' WHEN DATA_TYPE = 'datetime' THEN 'string' WHEN DATA_TYPE = 'timestamp' THEN 'string' WHEN DATA_TYPE = 'float' THEN 'double' WHEN DATA_TYPE = 'double' THEN 'double' WHEN DATA_TYPE = 'bigint' THEN 'bigint' END AS DATA_TYPE, CASE WHEN COLUMN_COMMENT = NULL THEN COLUMN_NAME ELSE COLUMN_COMMENT END AS COLUMN_COMMENT

FROM COLUMNS t1 JOIN TABLES t2 ON t1.TABLE_NAME = t2.TABLE_NAME

WHERE t1.TABLE_NAME = 'o_oms_statistic_profit'

) t3

GROUP BY TABLE_NAME, TABLE_COMMENT

) t4;