daoqidelv / filespilt-demo Goto Github PK

MutilThreadReadMaster不能保证严格的按行分割吧

文件过大（几十G）时会不会造成内存泄漏？

NormalPoolMaster 这个线程池 在分割文件的时候有两个小问题

1.在计算缓存大小的时候，最后满足分割条件的时候 丢掉最后一行数据

public FileWriteTask spilt(String lineContent) {
int totalSize = this.fileCacheSize + lineContent.length();
//当前行加入后，缓存的文件内容大于上限值，则生成一个新的Task
if(totalSize >= subFileSizeLimit) {
this.subFileCounter++;
String subFileName = genSubFileName();
List fileCacheCopy = new ArrayList();
fileCacheCopy.addAll(this.fileCache);
// 这里应该加入 start
this.fileCache.add(lineContent);
//end
FileWriteTask fileWriteTask = new FileWriteTask(this.fileDir, subFileName, fileCacheCopy, this.fileCacheSize);
//重置文件缓存和大小
this.fileCache.clear();
this.fileCacheSize = 0;
return fileWriteTask;
} else {
this.fileCache.add(lineContent);
this.fileCacheSize += lineContent.length();
return null;
}
}

2.在分割完成后，丢失最后一个不足缓存大小的数据。比如 ：206M 文件，10M 分割，最后6M 回丢失。