希望多多指导,qq 86497564 。

© 天行自息
Powered by LOFTER

hadoop_yarn内存调优

(1) yarn.nodemanager.resource.memory-mb

    表示在该节点上yarn可使用的物理内存数量,默认是8192(MB),注意,如果你的节点内存资源不够8GB,则需要减小这个值,而yarn不会只能的检测节点的物理内存总量。

(2)yarn.nodemanager.vmem-pmem-ratio

    任务每使用1mb物理内存,最多可使用虚拟内存,默认是2.1

(3)yarn.nodemanager.pmem-check-enabled

    是否启动一个线程检查每个任务正使用的物理内存量,如果任务超出分配值,则直接将其杀掉,默认是true。

(4)yarn.nodemanager.vmem-check-enabled

    是否启动一个线程检查每个任务正使用的虚拟内存量,如果任务超出分配值,则直接将其杀掉,默认是true。

(5)yarn.scheduler.minimum-allocation-mb

单个任务可申请的最少物理内存量,默认是1024(MB),如果一个任务申请的物理内存量少于该值,则该对应的值改为这个数。

(6)yarn.scheduler.maximum-allocation-mb

单个任务可申请的最多物理内存量,默认是8192(MB).

(7)小总结:计算节点的内存占用量。

默认情况下,一个同时运行了 namenode,secondarynamenode 和 nodemanager 的主节点,各自使用1000M 内存,所以总计使用3000M。

默认情况下,一个从节点运行了如下守护进程:

1个 datanode:默认占用1000M内存.

1个 tasktracker:默认占用1000M内存.

最多2个map任务:2*200M=400M.

最多2个reduce任务:2*200M=400Ma


评论