如何使用memmap crate附加到文件支持的mmap？
如何使用memmap crate附加到文件支持的mmap？
提问于 2018-12-11 05:54:58
我有一个包含内容的文件foo.txt
foobar我想不断地追加到这个文件，并有权访问修改后的文件。
MmapMut
我尝试的第一件事是直接改变mmap：
use memmap;
use std::fs;
use std::io::prelude::*;
fn main() -> Result<(), Box<std::error::Error>> {
let backing_file = fs::OpenOptions::new()
.read(true)
.append(true)
.create(true)
.write(true)
.open("foo.txt")?;
let mut mmap = unsafe { memmap::MmapMut::map_mut(&backing_file)? };
loop {
println!("{}", std::str::from_utf8(&mmap[..])?);
std::thread::sleep(std::time::Duration::from_secs(5));
let buf = b"somestring";
(&mut mmap[..]).write_all(buf)?;
mmap.flush()?;
}
}这将导致死机：
Error: Custom { kind: WriteZero, error: StringError("failed to write whole buffer") }生成的文件将读取somest
直接追加到备份文件
之后，我尝试直接添加到备份文件中：
use memmap;
use std::fs;
use std::io::prelude::*;
fn main() -> Result<(), Box<std::error::Error>> {
let mut backing_file = fs::OpenOptions::new()
.read(true)
.append(true)
.create(true)
.write(true)
.open("foo.txt")?;
let mmap = unsafe { memmap::MmapMut::map_mut(&backing_file)? };
loop {
println!("{}", std::str::from_utf8(&mmap[..])?);
std::thread::sleep(std::time::Duration::from_secs(5));
let buf = b"somestring";
backing_file.write_all(buf)?;
backing_file.flush()?;
}
}这不会导致恐慌。该文件将定期更新，但我的mmap不会反映这些更改。我预计标准输出如下所示：
foobar
foobarsomestring
foobarsomestringsomestring
...但我有
foobar
foobar
foobar
...我主要对Linux解决方案感兴趣，如果它是平台相关的。
回答 1
Stack Overflow用户
回答已采纳
发布于 2018-12-11 08:29:41
首先，根据我的理解，我强烈建议你高度怀疑那个板条箱。它允许你在安全生锈中做一些你不应该做的事情。
例如，如果您有一个文件备份的mmap，那么您计算机上对该文件具有正确权限的任何进程都可以修改它。这意味着：
- 将mmapped文件视为不可变的字节片(
&[u8])永远不会有效，因为它可能会发生变化！ - mmapped文件将永远不会被视为可变的字节片(
&mut [u8])，因为可变引用意味着可以更改该数据的独占所有者，但您没有此权限。
documentation for that crate没有涉及到这些问题，也没有讨论如何以安全的方式使用为数不多的unsafe函数。对我来说，这些迹象表明你可能在你的代码中引入了未定义的行为，这是一件非常糟糕的事情。
例如：
use memmap;
use std::{fs, io::prelude::*};
fn main() -> Result<(), Box<std::error::Error>> {
let mut backing_file = fs::OpenOptions::new()
.read(true)
.append(true)
.create(true)
.write(true)
.open("foo.txt")?;
backing_file.write_all(b"initial")?;
let mut mmap_mut = unsafe { memmap::MmapMut::map_mut(&backing_file)? };
let mmap_immut = unsafe { memmap::Mmap::map(&backing_file)? };
// Code after here violates the rules of references, but doesn't use `unsafe`
let a_str: &str = std::str::from_utf8(&mmap_immut)?;
println!("{}", a_str); // initial
mmap_mut[0] = b'x';
// Look, we just changed an "immutable reference"!
println!("{}", a_str); // xnitial
Ok(())
}由于人们通常不喜欢被告知“不，不要这样做，这是一个坏主意”，下面是如何让你的代码“工作”：直接附加到文件中，然后重新创建mmap：
use memmap;
use std::{fs, io::prelude::*, thread, time::Duration};
fn main() -> Result<(), Box<std::error::Error>> {
let mut backing_file = fs::OpenOptions::new()
.read(true)
.append(true)
.create(true)
.write(true)
.open("foo.txt")?;
// mmap requires that the initial mapping be non-zero
backing_file.write_all(b"initial")?;
for _ in 0..3 {
let mmap = unsafe { memmap::MmapMut::map_mut(&backing_file)? };
// I think this line can introduce memory unsafety
println!("{}", std::str::from_utf8(&mmap[..])?);
thread::sleep(Duration::from_secs(1));
backing_file.write_all(b"somestring")?;
}
Ok(())
}你可能想要在这个文件中预先分配一大块空间，这样你就可以打开它并开始编写，而不是必须重新映射它。
我自己不会在数据正确很重要的情况下使用这段代码。
另请参阅：
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/53714241
复制相关文章
相似问题