当前位置:首页>维修大全>综合>

hdfs单个文件多大比较合理(hdfs可以用来存储超大文件吗)

hdfs单个文件多大比较合理(hdfs可以用来存储超大文件吗)

更新时间:2025-02-06 23:52:08

hdfs单个文件多大比较合理

要大于一个block块,比较合适。

1. HDFS就是为存储GB,TB级别以上的数据文件而设计的。不适合存储小文件。

2. 我们只需要考虑文件大小的下限即可。存储的文件的大小下限,要根据HDFS上的block块大小决定。起码要大于一个block块,比较合适。

3. hadoop 2.x默认块大小为128M. hadoop3.x默认块大小为256M

4. 建议设置块大小为接近你硬盘的输出速率的2的N次方。比如你的硬盘平均输出速率为200M/s.那么就设置成256M。如果是400M/s,就设置成512M.

更多栏目