博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
日常数据文件自动入hive数据库
阅读量:6973 次
发布时间:2019-06-27

本文共 806 字,大约阅读时间需要 2 分钟。

hot3.png

1.hive建表

create EXTERNAL table IF NOT EXISTS  exttable_map_mdn_city(sdate string,mdn string,province string,city string,times int)partitioned by (dt string) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' location '/user/noc/private/exttable_map_mdn_city/';
hive -e "use noc_dpi;alter table exttable_map_mdn_city add partition (dt='$lastday') location '/user/noc/private/ext_tables/exttable_map_mdn_city/$lastday' "

2. hive中文只支持UTF-8编码

iconv   -f gbk -t utf-8
mpm_tot_$lastday.datrm mpm_tot_$lastday.txtmv mpm_tot_$lastday.dat mpm_tot_$lastday.txt

3.文件入库

hadoop fs -put mpm_tot_201601$i.txt /user/noc/private/ext_tables/exttable_map_mdn_city/$lastdayls mpm_tot_$lastday.txthadoop fs -du /user/noc/private/ext_tables/exttable_map_mdn_city/20160131

转载于:https://my.oschina.net/u/1866459/blog/645169

你可能感兴趣的文章
简单的分页存储过程,Json格式日期转换为一般日期
查看>>
算24 (递归)
查看>>
python之dict
查看>>
Lua中的元表与元方法
查看>>
将银行读卡设备读取到的身份证头像Bitmap属性转换成路径
查看>>
iPhone5,发布的不仅仅是一部手机
查看>>
Vue路由参数设置可有可无
查看>>
codevs 3115 高精度练习--减法
查看>>
使用 Swoole 来加速你的 Laravel 应用
查看>>
9月15日学习内容整理:类的命名空间和组合
查看>>
SSD详解
查看>>
关系数据模型的数据结构及约束定义
查看>>
BFS(双向) HDOJ 3085 Nightmare Ⅱ
查看>>
二分搜索 2015百度之星初赛1 HDOJ 5248 序列变换
查看>>
RecycleView的简单使用
查看>>
常用内置函数
查看>>
求空间一点到另外一点(如原点)的距离
查看>>
EditText设置文字改变时的监听
查看>>
Oracle学习笔记安装篇之在Redhat Enterprise Linux 7.0 x86_64下安装Oracle11g R2
查看>>
C++重载赋值运算符
查看>>