beeline连接hive beeline连接hive卡住

莫斯科路边发的Beeline电话卡 怎么设置上网呢？费用多少呢？

at org.apache.hive.beeline.BeeLine.dispatch(BeeLine.ja:3)

1.拨打06741571，开通费50p，每天扣费7p，流量无限，关闭拨打06741570

beeline连接hive beeline连接hive卡住

beeline连接hive beeline连接hive卡住

应该是Hadoop在hbase和Hive中的作用吧。 hbase与hive都是架构在hadoop之上的。都是用hadoop作为底层存储。而hbase是作为分布式数据库，而hive是作为分布式数据仓库。当然hive还是借用hadoop的MapReduce来完成一些hive中的命令的执行。

2.拨打06741511，无开通费，每天扣费8p，流量无限，关闭拨打06741510

hive如何跨分区剔重数据？

at org.apache.hive.beeline.BeeLine.initA

一、Hive only：加载分区数据的快捷方法

如果指定的分区不存在Hive将创建新的分区

这个命令将：

（2）如果存在的话，创建子目录：/user/hive/warehouse/call_logs/call_date=2014-10-02

（3）移动HDFS文件call-20141002.log到分区子目录

二、查看、添加和移除分区

（1）查看当前表分区

（2）使用ALTER TABLE添加或删除分区

三、 从已存在的分区目录创建分区

（1）HDFS的分区目录可以在Hive或Impala之外进行创建和数据，比如：通过Spark或MapReduce应用

（2） Hive中使用MSCK REPAIR TABLE命令来为已存在的表创建分区

下列情况使用分区

（1）读取整个数据集需要花费很长时间

（2）查询几乎只对分区字段进行过滤

（3）分区列有合理数量的不同的值

（4）数据生成或ETL过程是按文件或目录名来分段数据的

（5）分区列值不在数据本身

五、什么时候不使用分区

（1）避免把数据分区到很多小数据文件

– 不要对有太多惟一值的列进行分区

（2）注意：当使用动态分区时容易发生

– 比如：按照fname来分区客户表会产生上千个分区

六、 Hive进行分区

在旧的Hive版本中，动态分区默认没有启用 ，通过设置这两个属性启用：

但是在hive分区中我们应该注意一些问题,比如：

（1）注意：Beeline设置的Hive变量只在当前会话有效，系统可以设置生效

（2）注意：如果分区列有很多值，将会创建很多分区

另外，我们可以给Hive配置参数来限制分区数 ：

（1） hive.exec.max.dynamic.partitions.pernode

查询在某个上可以创建的hive.enforce.bucketing动态分区数，默认100

（2） hive.exec.max.dynamic.partitions

一个HiveQL语句可以创建的动态分区数 ，默认1000

（3）hive.exec.max.created.files

用户连接hiveserver2时怎么在cli中指定队列

以支持ACID的要求.

解决方案

四、什么时候使用分区

MapReduce运行队列的指定是通过配置（Configuration）属性“mapreduce.job.queuename”指定的。

大家可能首先想到的是通过“set mapreduce.job.queuename=queueName”的方式来选取运行队列，这在手动任务（临时分析需求）的场景下是不可取的，如前所述，我们为这类似的任务专门分配了相应的队列资源“hive.temporary”，我们必须能够保证用户通过Beeline连接Hive2后提交的Hive SQL语句运行在指定的队列“hive.temporary”中，而且用户无法随意更改运行队列，即无法随意更改属性“mapreduce.job.queuename”。

目前Hive2使用的权限控制策略为SQL Standard Based Hive Authorization和Storage Based Authorization in the Metastore 。其中SQL Standard Based Hive Authorization会对Hive终端命令“set”做出限制：只能针对白名单（hive.security.authorization.sqlstd.confwhiist）中列出的属性进行赋值。白名单默认包含一批属性，其中就包括“mapreduce.job.queuename”，我们需要通过配置文件hive-site.xml或者启动Hive2时通过参数“--hiveconf”设置白名单“hive.security.authorization.sqlstd.confwhiist”的值，排除属性“mapreduce.job.queuename”，使得我们的用户通过Beeline连接至Hive2之后，无法随意更改“mapreduce.job.queuename”的值。

既然用户无法更改属性“mapreduce.job.queuename”，那么Hive2启动之后属性“mapreduce.job.queuename”必须具有一个默认值，即“hive.temporary”，这样用户通过Beeline连接Hive2之后提交的Hive SQL就会运行在队列“hive.temporary”中。那么，接下来的问题就是如果完成这个默认设定？

一般情况下，我们会这样认为，Hive2的运行至少涉及到两份配置文件：

（1）Hadoop：core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml

（2）Hive：hive-site.xml

这些配置文件中的属性值都会“打包”到MapReduce任务的配置属性中去。我们自然会想到在mapred-site.xml或者hive-site.xml中指定“mapreduce.job.queuename”即可，然而实际验证之后发现情况并不是这样的。

（1）在hive-site.xml（mapred-site.xml）中指定“mapreduce.job.queuename”；

hive怎么实现update作

两种套餐

数据更新是一种常见的作，然后数据仓库的概念一般要求的是数据是集成、稳定的。HIVE作为一种分布式环境下以HDFS为支撑的数据仓库，它同样更多的要求数据是不可变的。

莫斯科路边发的Beeline电话卡可以直接通过浏览器上网，无需任何设置。按流量收费。浏览完信息，手工断开连接即可。关于费用问题，Beeline电话卡具体的资费标准可以咨询该公司的人员或在其网站查询，以获取最准确的信息。

按照网上办法进行设置.

hive.support.concurrency – true

同样在建表后面添加: stored as orc TBLPROPERTIES('transactional'='true'); 以支持ACID的要求.

如以简单的表进行实验:(id int ,name string) , 随意导入几条数据,进行测试.

写入更新作命令: update set name ='' where id =1;

得到结果如下:

似乎这样作，HIVE对UPDATE作就非常好的。其实经过实验，发现HIVE的更新机制速度非常的慢，在一个仅仅为6行的数据测试，其花费时间也要180S，这种效率肯定是无法忍受的。猜测其原因可能需要读出原有的表，进行更新，然后再写回HDFS？仅仅是猜测而已。

could not open client transport unknownhostexception

hivepactesttor.worker.threads

在hadoop的core-site.xml中添加如下内容，然后重启hadoop，再使用beeline连接即可。

hiveserver2增加了权限控制，需要在hadoop的配置文件中配置 。

hive怎么实现update作

另外一个非常头疼的事情是，这种HIVE环境下支持ACID的表，竟然只能在HIVE内部才能访问到，而在BEELINE或者Spark环境下，居然是无法获得数据的。或者对外不提供接口。(中间那行居然不显示数据!!!!)

数据更新是一种常见的作，然后数据仓库的概念一般要求的是数据是集成、稳定的。HIVE作为一种分布式环境下以HDFS为支撑的数据仓库，它同样更多的要求数据是不可变的。

stored

然而现实很多任务中，往往需要对数据进行更新作，经查，Hive自0.11版本之后就提供了更新作。于是想着试验一下，看看HIVE更新的作和性能。

按照网上办法进行设置.

hive.support.concurrency

–true

–true

(Not

required

as

of

Hive

2.0)

hive.exec.dynamic.partition.mode

–nonstrict

hive.txn.mar

–org.apache.Hadoop.hive.ql.lockmgr.DbTxnMar

hivepactor.initiator.on

–true

(for

exactly

instance

of

the

Thrift

metastore

serv)

itive

同样在建表后面添加: stored

as

orc

TBLPROPERTIES('transactional'='true');

如以简单的表进行实验:(id

int

string)

,随意导入几条数据,进行测试.

写入更新作命令:

update

set

=''

where

id

=1;

得到结果如下:

似乎这样作，HIVE对UPDATE作就非常好的。其实经过实验，发现HIVE的更新机制速度非常的慢，在一个仅仅为6行的数据测试，其花费时间也要180S，这种效率肯定是无法忍受的。猜测其原因可能需要读出原有的表，进行更新，然后再写回HDFS？仅仅是猜测而已。

由于hive数仓的特性，不容许数据进行修改，造成hive中的数据更新活着删除很困难的问题，自hive

create

table

test_temp

(id

string,

string,

age

string

)comment

'临时表'

partitioned

by

(y

string,m

string,d

string)

row

fieldsterminated

by','

as

textfile

create

table

(id

string,

string,

age

string

)comment

'最终表'

row

fieldsterminated

by','

as

orcfile

初始化

1.通过hive数据load的方式先把数据加载到test_temp表中（此处也可以通过sqoop进行数据抽取，不再详述）。

load

data

local

inpath

'/home/hadoop/a.txt'

overwrite

intotable

test_temp

2.通过hive

insert

overwrite的方式把临时表的数据加载到最终表test中。

insertintotable

select

id,name,age

from

test_temp

在Hive中如何实现数据分区

0.11版本之后，hive也尝试在测试环境允许进行update和delte作，但这些作还不成熟，不敢在生产环境放心使用，其中也有一样不足。

一、Hive only：加载分区数据的快捷方法

如果指定的分区不存在Hive将创建新的分区

这个命令将：

（2）如果存在的话，创建子目录：/user/hive/warehouse/call_logs/call_date=2014-10-02

（3）移动HDFS文件call-20141002.log到分区子目录

二、查看、添加和移除分区

（1）查看当前表分区

（2）使用ALTER TABLE添加或删除分区

三、 从已存在的分区目录创建分区

（1）HDFS的分区目录可以在Hive或Impala之外进行创建和数据，比如：通过Spark或MapReduce应用

（2） Hive中使用MSCK REPAIR TABLE命令来为已存在的表创建分区

下列情况使用分区

（1）读取整个数据集需要花费很长时间

（2）查询几乎只对分区字段进行过滤

（3）分区列有合理数量的不同的值

（4）数据生成或ETL过程是按文件或目录名来分段数据的

（5）分区列值不在数据本身

五、什么时候不使用分区

（1）避免把数据分区到很多小数据文件

– 不要对有太多惟一值的列进行分区

（2）注意：当使用动态分区时容易发生

– 比如：按照fname来分区客户表会产生上千个分区

六、 Hive进行分区

在旧的Hive版本中，动态分区默认没有启用 ，通过设置这两个属性启用：

但是在hive分区中我们应该注意一些问题,比如：

（1）注意：Beeline设置的Hive变量只在当前会话有效，系统可以设置生效

（2）注意：如果分区列有很多值，将会创建很多分区

另外，我们可以给Hive配置参数来限（1）如果不存在的话添加分区到表的元数据制分区数 ：

（1） hive.exec.max.dynamic.partitions.pernode

查询在某个上可以创建的动态分区数，默认100

（2） hive.exec.max.dynamic.partitions

一个HiveQL语句可以创建的动态分区数 ，默认1000

（3）hive.exec.max.created.files

sparksql怎么批量删除分区

delimited

用beeline的方式。可以执行成功有beeline的方式，即hive原生hivesql能按条件删除；而使用spark-sql，或spark-beelin,namee等方式执行会报错。

HIVE报sessionHandle是啥原因引起的

Error: org.apache.thrift.protocol.TProtocolException: Required field 'sessionHandle' is unset! Struct:TExecuteStatementReq(sessionHandle:null, statement:set mapr

ed.job.queue.name=dloper, confOverlay:{}, runAsync:true) (state=08S01,code=0)

ja.sql.SQLException: org.apache.thrift.protocol.TProtocolException: Required field 'sessionHandle' is unset! Struct:TExecuteStatementReq(sessionHandle:null, statemen

t:set mapred.job.queue.name=dloper, confOverlay:{}, runAsync:true)

at org1.1..apache.hive.–ajdbc.HiveStatement.execute(HiveStatement.ja:238)

at org.apache.hive.beeline.Commands.execute(Commands.ja:736)

at org.apache.hive.beeline.Commands.sql(Commands.ja:657)

如何看hive中哪个队列比较闲

一个查询总共可以创建的动态分区数，默认1000000

时间戳是一个10位的整型数，没有小数的； 看你在什么地方使用one了，如果是PHP中直接使用date("Y-m-d",hive)；如果在Mysql中使用formart_date就可以直接转换