您的位置:首页 > 教程 > linux > shell命令执行hive脚本(hive交互)

shell命令执行hive脚本(hive交互)

2022-06-20 14:39:27 来源:易采站长站 作者:

shell命令执行hive脚本(hive交互)

目录Hive执行方式方式1方式二方式三Hive执行方式Hive的hql命令执行方式有三种:1、CLI方式直接执行2、作为字符串通过shell调用hivee执行(-S开启静默,去掉OK,Timet...O5J站长之家-易采站长站-Easck.Com

目录
Hive执行方式
方式1
方式二
方式三

O5J站长之家-易采站长站-Easck.Com

Hive执行方式

Hive的hql命令执行方式有三种:O5J站长之家-易采站长站-Easck.Com

1、CLI 方式直接执行O5J站长之家-易采站长站-Easck.Com
2、作为字符串通过shell调用hive –e执行(-S开启静默,去掉”OK”,”Time taken”)O5J站长之家-易采站长站-Easck.Com
3、作为独立文件,通过shell调用 hive –f或hive –i执行执行O5J站长之家-易采站长站-Easck.Com

O5J站长之家-易采站长站-Easck.Com

方式1

键入“hive”,启动hive的cli交互模式。Set可以查看所有环境设置参数,并可以重设。其他命令如,
    Use database        选择库
    quit/exit   退出Hive的交互模式 
    set –v  显示Hive中的所有变量
    set <key>=<value>       设置参数
    执行本地shell :!<cmd>       交互模式下可执行shell命令,例如(查看linux根目录下文件列表:"!ls -l /;")
    操作云命令:dfs < command>        交互模式下直接操作hadoop命令如 dfs fs –ls
    Hql语句       执行查询并输出到标准输出
    add [FILE|JAR|ARCHIVE] <value> [<value>]*       增加一个文件到资源列表
    list FILE       列出所有已经添加的资源

O5J站长之家-易采站长站-Easck.Com

方式二

Hql作为字符串在shell脚本中执行,如
    hive -e "use ${database};select * from tb"
查询结果可以直接导出到本地本件(默认分隔符为\t):
    hive -e "select * from tb" > tb.txt

如果需要查看执行步骤,则在命令前面添加O5J站长之家-易采站长站-Easck.Com

set –x

另外,在shell脚本中,字符串有两种定义方式:O5J站长之家-易采站长站-Easck.Com

1)  直接定义字符串对象:sql=”字符串”O5J站长之家-易采站长站-Easck.Com

2)  通过命令定义:sql=$(cat <<endtag 字符串endtag)方式可以将字符串复制给sql,执行hql命令的shell脚本如下:O5J站长之家-易采站长站-Easck.Com

####### execute hive ######
sql=$(cat <<!EOF

USE pmp;
set mapred.queue.names=queue3;

drop table if exists people_targeted_delivery;
create table people_targeted_delivery
( special_tag_id int,
 cnt bigint
);

INSERT OVERWRITE LOCAL DIRECTORY '$cur_path/people_targeted_delivery'
ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'
select special_tag_id,count(1)
from t_pmp_special_user_tags
group by special_tag_id;

!EOF)
############ execute begin  ###########
echo $sql
$HIVE_HOME/bin/hive -e "$sql"

exitCode=$?
if [ $exitCode -ne 0 ];then
    echo "[ERROR] hive execute failed!"
    exit $exitCode
fi

O5J站长之家-易采站长站-Easck.Com

方式三

将hql语句保存为独立文www.cppcns.com件,后缀名不限制,可以用.q或者.hql作为标识:O5J站长之家-易采站长站-Easck.Com
    A,这个文件在cli模式下,用source命令执行,如:source ./mytest.hqlO5J站长之家-易采站长站-Easck.Com
    B,在shell中执行命令,如:hive -f  mytest.sqlO5J站长之家-易采站长站-Easck.Com

Hive指定预执行文件命令“hive –i”(或叫初始化文件)O5J站长之家-易采站长站-Easck.Com

命令:hive -i hive-script.sql
在hive启动cli之前,先执行指定文件(hive-script.sql)中的命令。
也就是说,允许用户在cli启动时预先执行一个指定文件,比如,有一些常用的环境参数设置,频繁执行的命令,可以添加在初始化文件中,比如,
    某些参数设置
        set mapred.queue.names=queue3;
        SET mapred.reduce.tasks=14;
    添加udf文件
        add JAR ./playdata-hive-udf.jar;
    设置Hive的日志级别 
        hive -hiveconf hive.root.logger=INFO;

到此这篇关于shell命令执行hive脚本(hive交互)的文章就介绍到这了,更多相关shell命令执行hive内容请搜索我们以前的文章或继续浏览下面的相关文章希望大家以后多多支持我们!

如有侵权,请联系QQ:279390809 电话:15144810328

相关文章

  • Linux下用GHOST来做系统备份

    Linux下用GHOST来做系统备份

    在Windows系统下备份我们可以用GHOST工具软件完成,Linux系统不能完全依赖于GHOST工具,一则是GHOST本身是有版权的软件,二是GHOST只支持ext2、ext3文件系统的Linux分区,不支持reiserfs、xfs等
    2019-10-25
  • 给 FreeBSD 12.1 安装 GNOME3 图形界面

    给 FreeBSD 12.1 安装 GNOME3 图形界面

    FreeBSD是一个完全开放的、安全的系统,可以Do it yourself的系统。但是个人还是不喜欢呆板的命令行界面,所有就给 FreeBSD 12.1 安装 GNOME3 图形界面。 开始操作,启动FreeBSD 12.1,以root身份
    2019-10-27
  • Ubuntu Studio一个不错的操作系统

    Ubuntu Studio一个不错的操作系统

    Ubuntu Studio 是一个基于 Ubuntu 而面向音频、视频及图形爱好者的操作系统。本次推出的 Ubuntu Studio 为 7.04 版,目前仅支持 Intel i386 兼容的处理器。 Ubuntu Studio 从大量的开源多媒体创作程序
    2019-10-25
  • 最受欢迎的10款Linux免费游戏

    最受欢迎的10款Linux免费游戏

    图为在Linux下运行的免费游戏America's Army 如果你认为 Linux下没有什么好游戏的话,那就错了!我们来看看Linux下最受欢迎的10款游戏吧,而且这些游戏都是完全免费的! # skyreal update(06-12
    2019-10-25
  • compiz fusion特效使用心得(附3D桌面图)

    compiz fusion特效使用心得(附3D桌面图)

    3D桌面图 LINUX发行版就是好,当大多数人还在沉迷于那些什么风格图标鸟玻璃效果甚至孜孜不倦津津乐道的时候,Linux的高手们已经悄悄为我们开启了一个桌面系统3D的时代。 当我第一次
    2019-10-25
  • Ubuntu 下aMule 的安装配置

    Ubuntu 下aMule 的安装配置

    aMule 是一个类似于 eMule 的多平台 P2P 客户端程序。以下将简略叙述 aMule 在 Ubuntu 中的安装及配置 [High ID] 与 [KAD] 的过程。 安装: sudo apt-get install amule sudo apt-get install amule-utils 如果需要
    2019-10-25
  • JMeter jp@gc - stepping thread group插件

    JMeter jp@gc - stepping thread group插件

    这是一个出单接口压力测试的小例子,了解一下压力测试最最基础的基础。出单接口是用来保险出单的,不需要在UI界面下一步下一步的出单,接口一调数据入库完事~~~。再啰嗦一句接
    2019-10-27
  • Ubuntu 下使用K3B软件刻录光盘(图)

    Ubuntu 下使用K3B软件刻录光盘(图)

    不知大家会不会在Ubuntu下刻录光盘呢?k3b是KDE环境下的一个CD/DVD刻录软件,有非常容易使用的界面,功能比较齐全。用起来感觉就象是win下的Nero一样简单自然,比ubuntu里原来的刻录CD方式
    2019-10-25