Buffer的线程安全问题?
Buffer是非线程安全的
分散读取。简单来讲是就是将文件进行拆分,写入不同的Buffer中。
public class TestScatteringReads {
public static void main(String[] args) {
try {
FileChannel channel = new RandomAccessFile("word.txt", "r").getChannel();
ByteBuffer b1 = ByteBuffer.allocate(3);
ByteBuffer b2 = ByteBuffer.allocate(3);
ByteBuffer b3 = ByteBuffer.allocate(5);
channel.read(new ByteBuffer[]{b1,b2,b3});
b1.flip();
b2.flip();
b3.flip();
debugAll(b1);
debugAll(b2);
debugAll(b3);
} catch (IOException e) {
e.printStackTrace();
}
}
}
集中写入,简单理解就是将多个buffer的数据组合到一起填充到channel中。减少数据的拷贝。
public class TestGatheringWrites {
public static void main(String[] args) {
ByteBuffer b1 = StandardCharsets.UTF_8.encode("hello");
ByteBuffer b2 = StandardCharsets.UTF_8.encode("world");
ByteBuffer b3 = StandardCharsets.UTF_8.encode("你好");
try (FileChannel channel = new RandomAccessFile("words2.txt","rw").getChannel()) {
channel.write(new ByteBuffer[]{b1,b2,b3});
} catch (IOException e) {
}
}
}
接下来给大家简单讲解一下什么是黏包、半包
现象
假设网络上又多条数据要发送给服务端,数据之间使用了\n进行换行,但是由于某种原因导致服务器接收的时候,数据进行了重新组合(这里的组合只是截断的点不一样,而不是字符串的顺序进行了重新排列),假设原始数据有3条:
现在你需要将数据进行恢复
public static void main(String[] args) {
ByteBuffer source = ByteBuffer.allocate(32);
source.put("Hello,world\nI'm paidaxing\nHo".getBytes());
split(source);
source.put("w are you?\n".getBytes());
split(source);
}
private static void split(ByteBuffer source) {
source.flip();
for (int i = 0; i < source.limit(); i++) {
if (source.get(i) == '\n') {
// 存入新的bytebuffer
int lenth = i + 1 - source.position(); //消息长度
ByteBuffer target = ByteBuffer.allocate(lenth);
// 从soure读 向target写
for (int j = 0; j < lenth; j++) {
byte b = source.get();
target.put(b);
}
debugAll(target);
}
}
/*这里不能使用clear compact*会把未写入的向前压缩*/
source.compact();
}
以上关于ByteBuffer的相关知识点就这些,接下来给大家讲解FileChannel,
FileChannel只能工作在阻塞模式下 不能和selector一起使用
💡 注意:不能直接获取FileChannel,必须要通过FileInputStream
、FileOutputStream
、RandomAccessFile
来获取FileChannel,它们都有getChannel()
方法;
⚠️
会从channel读取数据填充之ByteBuffer,返回值代表读到了多少个字节,
-1
表示到达了文件的末尾
demo
int readBytes = channel.read(buffer);
这里需要注意一下,当是FileChannel
时,channel是可以不遵守写入的正确的写入方式,但是要是SocketChannel
时一定要遵守下面的写入方式,因为在while中调用channel.write()的write方法并不能保证一次江buffer中的内容全部写入到channel中,因为channel的读写能力是有限制的。
demo
ByteBuffer buffer = ...;
buffer.put(...); // 存入数据
buffer.flip(); // 切换读模式
while(buffer.hasRemaining()) {
channel.write(buffer);
}
channel必须关闭
,不过调用了FileInputStream、FileOutputStream和RandomAccessFile的close方法会间接调用channel的close方法
获取当前位置
long pos = channel.position();
设置当前位置
long newPos = ...;
channel.position(newPos);
💡 设置当前位置时,如果设置为文件的末尾
使用 size 方法获取文件的大小
操作系统出于性能的考虑,会将数据缓存,不是立刻写入磁盘。可以调用 force(true) 方法将文件内容和元数据(文件的权限等信息)立刻写入磁盘。
2G
;可以多次传输public static void main(String[] args) {
try (
FileChannel channelFrom = new FileInputStream("data.txt").getChannel();
FileChannel channelTo = new FileOutputStream("to.txt").getChannel()
) {
long size = channelFrom.size();
// left 变量代表还剩多少个字节
for(long left = size; left>0;){
left -= channelFrom.transferTo((size-left),channelFrom.size(),channelTo);// 返回实际传输的字节数
}
} catch (IOException e) {
e.printStackTrace();
}
}
jdk7 引入了 Path 和 Paths 类
Path source = Paths.get("1.txt"); // 相对路径 使用 user.dir 环境变量来定位 1.txt
Path source = Paths.get("d:\\1.txt"); // 绝对路径 代表了 d:\1.txt
Path source = Paths.get("d:/1.txt"); // 绝对路径 同样代表了 d:\1.txt
Path projects = Paths.get("d:\\data", "projects"); // 代表了 d:\data\projects
.
代表了当前路径..
代表了上一级路径例如目录结构如下
d:
|- data
|- projects
|- a
|- b
代码
Path path = Paths.get("d:\\data\\projects\\a\\..\\b");
System.out.println(path);
System.out.println(path.normalize()); // 正常化路径
以上代码会输出
d:\data\projects\a\..\b
d:\data\projects\b //正常化路径
相关API
Path path = Paths.get("helloword/data.txt");
System.out.println(Files.exists(path));
注意事项:
Path path = Paths.get("helloword/d1");
Files.createDirectory(path);
Path path = Paths.get("helloword/d1/d2");
Files.createDirectories(path);
Path source = Paths.get("helloword/data.txt");
Path target = Paths.get("helloword/target.txt");
Files.copy(source, target);
Files.copy(source, target, StandardCopyOption.REPLACE_EXISTING);
Path source = Paths.get("helloword/data.txt");
Path target = Paths.get("helloword/data.txt");
Files.move(source, target, StandardCopyOption.ATOMIC_MOVE);
DirectoryNotEmptyException
Path target = Paths.get("helloword/d1");
Files.delete(target);
public static void main(String[] args) throws IOException {
Path path = Paths.get("C:\\Program Files\\Java\\jdk1.8.0_91");
AtomicInteger dirCount = new AtomicInteger();
AtomicInteger fileCount = new AtomicInteger();
Files.walkFileTree(path, new SimpleFileVisitor<Path>(){
//遍历文件之前的方法
@Override
public FileVisitResult preVisitDirectory(Path dir, BasicFileAttributes attrs)
throws IOException {
System.out.println(dir);
dirCount.incrementAndGet();
return super.preVisitDirectory(dir, attrs);
}
// 遍历文件时的方法
@Override
public FileVisitResult visitFile(Path file, BasicFileAttributes attrs)
throws IOException {
System.out.println(file);
fileCount.incrementAndGet();
return super.visitFile(file, attrs);
}
});
System.out.println(dirCount); // 133
System.out.println(fileCount); // 1479
}
Path path = Paths.get("C:\\Program Files\\Java\\jdk1.8.0_91");
AtomicInteger fileCount = new AtomicInteger();
Files.walkFileTree(path, new SimpleFileVisitor<Path>(){
@Override
public FileVisitResult visitFile(Path file, BasicFileAttributes attrs)
throws IOException {
if (file.toFile().getName().endsWith(".jar")) {
fileCount.incrementAndGet();
}
return super.visitFile(file, attrs);
}
});
System.out.println(fileCount); // 724
Path path = Paths.get("d:\\a");
Files.walkFileTree(path, new SimpleFileVisitor<Path>(){
@Override
public FileVisitResult visitFile(Path file, BasicFileAttributes attrs)
throws IOException {
Files.delete(file);
return super.visitFile(file, attrs);
}
@Override
public FileVisitResult postVisitDirectory(Path dir, IOException exc)
throws IOException {
Files.delete(dir);
return super.postVisitDirectory(dir, exc);
}
});
⚠️ 删除很危险
删除是危险操作,确保要递归删除的文件夹没有重要内容
long start = System.currentTimeMillis();
String source = "D:\\Snipaste-1.16.2-x64";
String target = "D:\\Snipaste-1.16.2-x64aaa";
Files.walk(Paths.get(source)).forEach(path -> {
try {
String targetName = path.toString().replace(source, target);
// 是目录
if (Files.isDirectory(path)) {
Files.createDirectory(Paths.get(targetName));
}
// 是普通文件
else if (Files.isRegularFile(path)) {
Files.copy(path, Paths.get(targetName));
}
} catch (IOException e) {
e.printStackTrace();
}
});
long end = System.currentTimeMillis();
System.out.println(end - start);