要大于一个block块,比较合适。
1. HDFS就是为存储GB,TB级别以上的数据文件而设计的。不适合存储小文件。
2. 我们只需要考虑文件大小的下限即可。存储的文件的大小下限,要根据HDFS上的block块大小决定。起码要大于一个block块,比较合适。
3. hadoop 2.x默认块大小为128M. hadoop3.x默认块大小为256M
4. 建议设置块大小为接近你硬盘的输出速率的2的N次方。比如你的硬盘平均输出速率为200M/s.那么就设置成256M。如果是400M/s,就设置成512M.