当前位置:首页>维修大全>综合>

hadoop默认数据块大小(hadoop能处理多大的数据)

hadoop默认数据块大小(hadoop能处理多大的数据)

更新时间:2025-07-30 23:38:47

hadoop默认数据块大小

Hadoop2.7.2版本及之前默认64MB,Hadoop2.7.3版本及之后默认128M

块大小:

HDFS的块设置太小,会增加寻址时间,程序一直在找块的开始位置,而且NameNode需要大量内存来存储元数据,不可取。如果块设置的太大,从磁盘传输数据的时间会明显大于定位这个块开始位置所需的时间。导致程序在处理这块数据时,会非常慢。

如果寻址时间约为10ms,而传输速率为100MB/s,为了使寻址时间仅占传输时间的1%,我们要将块大小设置约为100MB。默认的块大小128MB。块的大小:10ms100100M/s=100M,

更多栏目