- 单线程读多线程写方案,该方案使用了两种不同的线程池实现:ThreadPoolExcutor和ForkJoinPool,分别对应NORMAL和FORKJOIN两种执行模式;
- 生产者-消费者模式下的多线程读/写方案,对应PRODUCERCONSUMER执行模式。
- com.daoqidlv.filespilt —— 公共类,及程序入口类
- com.daoqidlv.filespilt.single.normal —— NORMAL模式的具体实现类
- com.daoqidlv.filespilt.single.forkjoin —— FORKJOIN模式的具体实现类
- com.daoqidlv.filespilt.mutil —— PRODUCERCONSUMER模式下的具体实现类
入口类: com.daoqidlv.filespilt.Test.java
执行命令格式: java -jar fileapilt.jar #fileDir #fileName #subFileSizeLimit #mode [#readTaskNum #writeTaskNum #queueSize]
- #root_dir —— 源文件及拆分后子文件放置的根目录
- #orign_file_name —— 原文件名
- #subFileSizeLimit —— 拆分后的子文件大小上限值,开区间
- #mode —— 执行模式:NORMAL -- 使用普通线程池,FORKJOIN -- 使用ForkJoinPool, PRODUCERCONSUMER --生产者-消费者模式
- #readTaskNum —— 可选。读任务数,当参数4为PRODUCERCONSUMER时有效,不输入则默认为24
- #writeTaskNum —— 可选。写任务数,当参数4为PRODUCERCONSUMER时有效,不输入则默认为8
- #queueSize —— 可选。任务队列大小,当参数4为PRODUCERCONSUMER时有效,不输入则默认为10240
执行命令示例:
- NORMAL/FORKJOIN模式
java -jar fileapilt.jar D:\Users\daoqidelv\Desktop\alibaba localhost_access_log.txt 10 FORKJOIN - PRODUCERCONSUMER模式
java -jar fileapilt.jar D:\Users\daoqidelv\Desktop\alibaba localhost_access_log.txt 10 PRODUCERCONSUMER 24 8 10240