文件分割与合并是一个常见需求,比如:上传大文件时,可以先分割成小块,传到服务器后,再进行合并。很多高大上的分布式文件系统(比如:google的gfs、taobao的tfs)里,也是按block为单位,对文件进行分割或合并。
看下基本思路:
如果有一个大文件,指定分割大小后(比如:按1m切割)
step 1:
先根据原始文件大小、分割大小,算出最终分割的小文件数n
step 2:
在磁盘上创建这n个小文件
step 3:
开多个线程(线程数=分割文件数),每个线程里,利用randomaccessfile的seek功能,将读取指针定位到原文件里每一段的段首位置,然后向后读取指定大小(即:分割块大小),最终写入对应的分割文件,因为多线程并行处理,各写各的小文件,速度相对还是比较快的。
下面代码是将一个文件拆分为多个子文件,每个大小是100k
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
|
package testio; import java.io.file; import java.io.fileinputstream; import java.io.fileoutputstream; import java.util.arrays; public class substream { public static void main(string[] args) { //先将源文件读取到内存中 int eachsize= 100 * 1024 ; file srcfile = new file( "f:/test/test.txt" ); //创建一个文件对象 splitfile(srcfile,eachsize); } public static void splitfile(file srcfile, int eachsize){ //判断文件是否符合拆分要求 if (srcfile.length()== 0 ){ throw new runtimeexception( "文件不符合拆分要求" ); } byte [] filecontent= new byte [( int ) srcfile.length()]; try { //将文件内容读取到内存中 fileinputstream fis= new fileinputstream(srcfile); fis.read(filecontent); fis.close(); } catch (exception e) { e.printstacktrace(); } //计算要次要拆分为多少份 int filenumber; if (filecontent.length%eachsize== 0 ){ filenumber = filecontent.length/eachsize; } else { filenumber = filecontent.length/eachsize+ 1 ; } for ( int i= 0 ;i<filenumber;i++){ string filename = srcfile.getname()+ "-" +i+ ".txt" ; file fi = new file(srcfile.getparent(), filename); //在当前文件路径下创建拆分的文件 byte [] eachcontent; //将源文件内容复制到拆分的文件中 if (i!=filenumber- 1 ){ eachcontent = arrays.copyofrange(filecontent, eachsize*i, eachsize*(i+ 1 )); } else { eachcontent = arrays.copyofrange(filecontent, eachsize*i, filecontent.length); } try { fileoutputstream fos = new fileoutputstream(fi); fos.write(eachcontent); fos.close(); system.out.printf( "输出子文件 %s,其大小是 %d,每个的大小是%d\n" ,fi.getabsolutefile(),fi.length(),eachcontent.length); } catch (exception e) { // todo: handle exception e.printstacktrace(); } } } } |
总结
以上就是本文关于java io流将一个文件拆分为多个子文件代码示例的全部内容,希望对大家有所帮助。感兴趣的朋友可以继续参阅本站其他相关专题,如有不足之处,欢迎留言指出。感谢朋友们对本站的支持!
原文链接:http://blog.csdn.net/sinat_15274667/article/details/53982986