HDFS的块比磁盘的块大,其目的是为了最小化寻址开销。 如果块足够大,从磁盘传输数据的时间会明显大于定位这个块开始位置所需的时间。因而,传输一个由多个块组成的大文件的时间取决于磁盘传输速率.
我们来做一个速算,如果寻址时间约为10 ms,传输速率为100 MB/s,为了使寻址时间仅占传输时间的1%,我们要将块大小设置约为100 MB.默认的块大小实际为128MB,但是很多情况下HDFS安装时使用更大的块。以后随着新古代磁盘驱动器传输速率的提升,块的大小会被设置得更大。
HDFS的块比磁盘的块大,其目的是为了最小化寻址开销。 如果块足够大,从磁盘传输数据的时间会明显大于定位这个块开始位置所需的时间。因而,传输一个由多个块组成的大文件的时间取决于磁盘传输速率.
我们来做一个速算,如果寻址时间约为10 ms,传输速率为100 MB/s,为了使寻址时间仅占传输时间的1%,我们要将块大小设置约为100 MB.默认的块大小实际为128MB,但是很多情况下HDFS安装时使用更大的块。以后随着新古代磁盘驱动器传输速率的提升,块的大小会被设置得更大。