加入收藏 | 设为首页 | 会员中心 | 我要投稿 核心网 (https://www.hxwgxz.com/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 编程 > 正文

Hive SQL常用命令总结,大数据开发人员按需收藏

发布时间:2019-08-07 03:16:44 所属栏目:编程 来源:技术大咖秀
导读:Hive是基于Hadoop生态的一个重要组件,是对数据仓库进行管理和分析数据的工具。她提供了SQL查询方式来分析存储在HDFS分布式文件系统中的数据,可以将结构化的数据文件映射为一张数据库表,并提供完整的SQL查询功能。 这种SQL就是Hive SQL,她可以将SQL语句

2、HQL不支持update,采用union all + left join (is null)变相实现update。

  • 取出增量数据;
  • 使用昨日分区的全量数据通过主键左连接增量数据,并且只取增量表中主键为空的数据(即,取未发生变化的全量数据);
  • 合并1、2的数据覆盖至最新的分区,即实现了update。

3、HQL不支持delete,采用not exists/left join(is null)的方法变相实现。

  • 取出已删除的主键数据(表B);
  • 使用上一个分区的全量数据(表A)通过主键左连接A,并且只取A中主键为空的数据,然后直接insert overwrite至新的分区。

对于会SQL的人员,转入Hive SQL还是比较容易的,语法大部分是想通的,少部分函数不太一致。

【编辑推荐】

  1. 如何从MongoDB迁移到MySQL?这有现成经验!
  2. PostgreSQL之时间戳自动更新
  3. Adaptive Execution 让 Spark SQL 更智能更高效
【责任编辑:未丽燕 TEL:(010)68476606】
点赞 0

(编辑:核心网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

热点阅读