首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

OmniDiskSweeper清理系统文件

公司发的电脑只有250G,经常因 JetBrains 全家桶装多了磁盘都快爆了,更不要打开多个 IDE,内存不够的时候还要刷到 swap,总之电脑经常崩溃,一查存储空间发现系统经常性达到180G,应用30G装完就没多少剩下来了。 印象中 MacOS 系统文件不该这么大,后来查了一下发现是之前本地调试 Docker 的时候,安装了 Docker for Mac,把镜像文件存储路径放在 /Users/xxx/Library/ 这个目录下了,导致这部分文件归到系统里去了。推荐 OmniDiskSweeper 这个工具,操作简单,免费下载,可以统计各个文件夹的以及其包含的文件的大小,这是因为 Mac 的访达不能直接统计一个文件夹下所有文件所占的空间,当然了通过 du 这些命令是可以做到的,但是做起来效率和可视化就比较麻烦,所以还是推荐这个工具,一了百了。

03

云存储定价:顶级供应商的价格比较

大多数供应商提供各种不同的云存储服务,并且每种服务的价格可能会受到许多不同因素的影响。例如,数据中心规模、弹性级别、存储数据量、免费资格、数据访问频率、数据传输费用、数据访问费用,以及支持订阅等都可能影响云存储的定价。 对于企业来说,估测云存储的定价可能非常复杂。并且,对行业领先的云计算供应商提供的价格进行比较,以确定价格最低的云存储更为复杂。 大多数供应商提供各种不同的云存储服务,并且每种服务的价格可能会受到许多不同因素的影响。例如,数据中心规模、弹性级别、存储数据量、免费资格、数据访问频率、数据传输费用

04

大数据开发岗面试复习30天冲刺 - 日积月累,每日五题【Day15】——Spark2

1)如果说HDFS是大数据时代分布式文件系统首选标准,那么parquet则是整个大数据时代文件存储格式实时首选标准。 2)速度更快:从使用spark sql操作普通文件CSV和parquet文件速度对比上看,绝大多数情况会比使用csv等普通文件速度提升10倍左右,在一些普通文件系统无法在spark上成功运行的情况下,使用parquet很多时候可以成功运行。 3)parquet的压缩技术非常稳定出色,在spark sql中对压缩技术的处理可能无法正常的完成工作(例如会导致lost task,lost executor)但是此时如果使用parquet就可以正常的完成。 4)极大的减少磁盘I/o,通常情况下能够减少75%的存储空间,由此可以极大的减少spark sql处理数据的时候的数据输入内容,尤其是在spark1.6x中有个下推过滤器在一些情况下可以极大的减少磁盘的IO和内存的占用,(下推过滤器)。 5)spark 1.6x parquet方式极大的提升了扫描的吞吐量,极大提高了数据的查找速度spark1.6和spark1.5x相比而言,提升了大约1倍的速度,在spark1.6X中,操作parquet时候cpu也进行了极大的优化,有效的降低了cpu消耗。 6)采用parquet可以极大的优化spark的调度和执行。我们测试spark如果用parquet可以有效的减少stage的执行消耗,同时可以优化执行路径。

02
领券