`
hugh.wangp
  • 浏览: 288513 次
  • 性别: Icon_minigender_1
  • 来自: 杭州
社区版块
存档分类
最新评论

配置HIVE执行的本地模式

    博客分类：
  • HIVE
hivelocal mode本地模式
阅读更多

自0.7版本后Hive开始支持任务执行选择本地模式(local mode)，如此一来，对数据量比较小的操作，就可以在本地执行，这样要比提交任务到集群执行效率要快很多。

配置如下参数，可以开启Hive的本地模式：
hive> set hive.exec.mode.local.auto=true;(默认为false)

当一个job满足如下条件才能真正使用本地模式：
1.job的输入数据大小必须小于参数：hive.exec.mode.local.auto.inputbytes.max(默认128MB)
2.job的map数必须小于参数：hive.exec.mode.local.auto.tasks.max(默认4)
3.job的reduce数必须为0或者1

可用参数hive.mapred.local.mem(默认0)控制child jvm使用的最大内存数
0
顶
6
踩
分享到：
| HIVE表数据量和数据记录数的矛与盾
评论
发表评论

您还没有登录,请您登录后再发表评论

相关推荐

    Hive优化（提高hive运行速度）

    文章目录一、Hive使用本地模式执行操作（Hive使用资源大于20M的时候还是会采用集群yarn的方式运行）具体设置方法1、设置临时的2、修改hive配置文件（hive-site.xml），永久有效二、 一、Hive使用本地模式执行操作...

    Hadoop权威指南 第二版(中文版)

    　1.3.1 配置Hive 　1.3.2 Hive服务 　1.3.3 Metastore 　1.4 和传统数据库进行比较 　1.4.1 读时模式(Schema on Read)vs.写时模式(Schema onWrite) 　1.4.2 更新、事务和索引 　1.5 HiveQL 　1.5.1 数据类型 　...

    Hadoop权威指南（中文版）2015上传.rar

    1.3.1 配置Hive 1.3.2 Hive服务 1.3.3 Metastore 1.4 和传统数据库进行比较 1.4.1 读时模式（Schema on Read）vs.写时模式（Schema on Write） 1.4.2 更新、事务和索引 1.5 HiveQL 1.5.1 数据类型 1.5.2 操作和函数 ...

    Hadoop实战（陆嘉恒）译

    编程实践6.1 开发MapReduce 程序6.1.1 本地模式6.1.2 伪分布模式6.2 生产集群上的监视和调试6.2.1 计数器6.2.2 跳过坏记录6.2.3 用IsolationRunner重新运行出错的任务6.3 性能调优6.3.1 通过combiner来减少网络流量...

    Hadoop实战中文版

    5.5 小结　5.6 更多资源　第6章 编程实践　6.1 开发MapReduce 程序　6.1.1 本地模式　6.1.2 伪分布模式　6.2 生产集群上的监视和调试　6.2.1 计数器　6.2.2 跳过坏记录　6.2.3 用IsolationRunner重新运行出错的任务...

    新版Hadoop视频教程 段海涛老师Hadoop八天完全攻克Hadoop视频教程 Hadoop开发

    05-mr程序的本地运行模式.avi 06-job提交的逻辑及YARN框架的技术机制.avi 07-MR程序的几种提交运行模式.avi 08-YARN的通用性意义.avi 09-yarn的job提交流程.avi 第四天 常见mr算法实现和shuffle的机制 01-...

    apache-spark-benchmark:Apache Spark 框架的测试基准

    本质上，执行的测试是相似的，只是它们是使用 Apache Spark Java API 完成的，并且还测试了一些额外的配置。 此外，该基准测试不仅可以在 Amazon EC2 上运行，还可以在云和本地的任何集群中运行。 项目执行 项目...

    Hadoop实战

    1105.5 小结 1115.6 更多资源 112第6章 编程实践 1136.1 开发MapReduce程序 1136.1.1 本地模式 1146.1.2 伪分布模式 1186.2 生产集群上的监视和调试 1236.2.1 计数器 1236.2.2 跳过坏记录 1256.2.3 用...

    EasyBDI

    使用类似向导的界面配置本地模式视图，全局模式和星型模式。 支持几个已经测试过的数据源，例如MySQL，PostgreSQL，Hive，Cassandra，MongoDB和原始文件（csv，tsv，txt）。 使用拖放界面创建分析查询。 查询可以...

    Hadoop实战中文版.PDF

    206第11章　Hive及Hadoop群　20711.1　Hive　20711.1.1　安装与配置Hive　20811.1.2　查询的示例　21011.1.3　深入HiveQL　21311.1.4　Hive小结　22111.2　其他Hadoop相关的部分　22111.2.1　HBase　22111.2.2　...

    Hadoop硬实战 [（美）霍姆斯著][电子工业出版社][2015.01]_PDF电子书下载 带书签目录 高清完整版.rar )

    2．3．1　将数据导入本地文件系统 技术点8　自动复制HDFS 中的文件 2．3．2　数据库 技术点9　使用Sqoop 将数据导入MySQL 2．3．3　Hbase 技术点10　将数据从HDFS 导入HBase 技术点11　使用HBase 作为MapReduce 的...

    Hadoop实战(第2版)

    技术点41　内存交换技术点42　磁盘健康技术点43　网络6．3　可视化技术点44　提取并可视化任务执行时间6．4　优化 ．6．4．1　剖析MapReduce 的用户代码 技术点45　剖析map 和reduce 任务 6．4．2　参数配置6．4．3...

Magicbox
Global site tag (gtag.js) - Google Analytics