动态分区怎样调整

 时间:2026-02-15 06:48:29

1、开启动态分区参数设置

(1)开启动态分区功能(默认true,开启)

hive.exec.dynamic.partition=true

2、(2)设置为非严格模式(动态分区的模式,默认strict,表示必须指定至少一个分区为静态分区,nonstrict模式表示允许所有的分区字段都可以使用动态分区。)

动态分区怎样调整

3、(3)在所有执行MR的节点上,最大一共可以创建多少个动态分区。

动态分区怎样调整

4、(4)在每个执行MR的节点上,最大可以创建多少个动态分区。该参数需要根据实际的数据来设定。比如:源数据中包含了一年的数据,即day字段有365个值,那么该参数就需要设置成大于365,如果使用默认值100,则会报错。

动态分区怎样调整

5、(5)整个MR Job中,最大可以创建多少个HDFS文件。

动态分区怎样调整

6、(6)当有空分区生成时,是否抛出异常。一般不需要设置。

动态分区怎样调整

7、将ori中的数据按照时间(如:20111230000008),插入到目标表ori_partitioned_target的相应分区中。

(1)创建分区表

动态分区怎样调整

8、(2)加载数据到分区表中

动态分区怎样调整

9、(3)创建目标分区表

动态分区怎样调整

10、(4)设置动态分区

动态分区怎样调整

11、(5)查看目标分区表的分区情况

动态分区怎样调整

  • 如何使用系统自带的磁盘清理功能清理磁盘垃圾
  • 怎样对磁盘配额项目进行修改、新增、删除
  • 如何开启或关闭电脑的休眠功能
  • Win10如何关闭USB通知
  • Windows10系统磁盘C:\盘空间太大,如何缩小?
  • 热门搜索
    仪器减肥 古剑奇谭攻略 港澳游攻略 绝代双骄3攻略 昆明旅游攻略 头发上长虱子怎么办 新买的手机怎么充电 上海简介 嵊泗列岛旅游攻略 神之墓地攻略