腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

Juicedata

专栏作者

68

文章

51267

阅读量

14

订阅数

在 Google Colab 中使用 JuiceFS

模型数据文件系统对象存储 google

Google Colaboratory（Colab）是一个由 Google 提供的云端 Jupyter 编程笔记本，直接通过浏览器即可进行 Python 编程。Colab 充分利用谷歌的闲置云计算资源，为公众提供免费的的在线编程服务，以及免费的 GPU 资源，虽然在使用方面有一定的规则限制，但对于一般的研究和学习来说绰绰有余。

2024-03-23

1360

从 HPC 到 AI：探索文件系统的发展及性能评估

hpc 模型数据文件系统性能

随着 AI 技术的迅速发展，模型规模和复杂度以及待处理数据量都在急剧上升，这些趋势使得高性能计算（HPC）变得越来越必要。HPC 通过集成强大的计算资源，比如 GPU 和 CPU 集群，提供了处理和分析大规模数据所需的算力。

2024-03-07

1100

BentoML：如何使用 JuiceFS 加速大模型加载？

架构开发模型缓存部署

当 BentoML 在 Serverless 环境中部署模型时，其中一个主要挑战是冷启动慢，尤其在部署大型语言模型时更为明显。由于这些模型体积庞大，启动和初始化过程耗时很长。此外，由于 Image Registry 的带宽较小，会让大体积的 Container Image 进一步加剧冷启动缓慢的问题。为了解决这一问题，BentoML引入了JuiceFS。

2024-02-22

1040

韩国国民搜索 NAVER：为 AI 平台引入存储方案 JuiceFS

存储数据数据存储搜索性能

AiSuite 是 NAVER 开发者所使用的人工智能平台，它支持 NAVER 的各种服务的开发和运维。

2023-12-28

1890

手把手教你搭建 Ceph＋JuiceFS

存储部署集群监控文件系统

Ceph 提供了对象存储，可作为存储引擎在 JuiceFS 中使用。这一组合非常适合云计算、大数据分析和机器学习等数据密集型应用场景。

2023-12-09

3500

JuiceFS 用户必备的 6 个技巧

数据库技巧脚本数据文件系统

随着大数据、AI 技术的发展，越来越多的企业、团队和个人开始使用 JuiceFS，本文整理了 6 个超实用的 JuiceFS 技巧，帮助大家提升 JuiceFS 的管理效率。

2023-11-23

1370

基于JuiceFS 的低成本 Elasticsearch 云上备份存储

存储 elasticsearch 官方文档备份数据

Elasticsearch 的数据备份是通过快照机制实现的。为了完成集群的快照，需要依赖一个共享存储系统，即所有节点需要挂载到共享存储的同一个目录，并且每个节点对此目录需有读写权限，最初我们使用 NAS（即 NFS）来实现备份，这个方案也已经稳定运行多年。

2023-11-16

1580

POSIX 真的不适合对象存储吗？

对象存储 posix 测试数据性能

最近，留意到 MinIO 官方博客的一篇题为“在对象存储上实现 POSIX 访问接口是坏主意”的文章，作者以 S3FS-FUSE 为例分享了通过 POSIX 方式访问 MinIO 中的数据时碰到了性能方面的困难，性能远不如直接访问 MinIO。在对结果进行分析时，作者认为是 POSIX 本身存在的缺陷导致的性能问题。这个结论与我们既有经验有一定出入。

2023-10-26

3140

JuiceFS 目录配额功能设计详解

缓存客户端内存数据统计

JuiceFS 在最近 v1.1 版本中加入了社区中呼声已久的目录配额功能。已发布的命令支持为目录设置配额、获取目录配额信息、列出所有目录配额等。完整的详细信息，请查阅文档。

2023-10-10

1980

小米云原生文件存储平台化实践：支撑 AI 训练、大模型、容器平台多项业务

文件存储容器模型实践云原生

小米作为全球知名的科技巨头公司，已经在数百款产品中广泛应用了 AI 技术，这些产品包括手机、电视、智能音箱、儿童手表和翻译机等。这些 AI 应用主要都是通过小米的深度学习训练平台完成的。

2023-09-23

3450

浅析 GlusterFS 与 JuiceFS 的架构异同

存储架构客户端数据协议

在进行分布式文件存储解决方案的选型时，GlusterFS 无疑是一个不可忽视的考虑对象。作为一款开源的软件定义分布式存储解决方案，GlusterFS 能够在单个集群中支持高达 PiB 级别的数据存储。自从首次发布以来，已经有超过十年的发展历程。目前，该项目主要由 Red Hat 负责维护，并且在全球范围内拥有庞大的用户群体。本文旨在通过对比分析的方式，介绍 GlusterFS 与 JuiceFS 的区别，为您的团队在技术选型过程中提供一些参考。

2023-08-26

2800

存算分离实践：构建轻量、云中立的大数据平台

存储大数据架构实践数据

传统的 Hadoop 生态体系中，数据存储角色与计算角色通常会部署在相同的机器上，一个占据硬盘提供存储，一个利用 CPU 和内存做计算。为此，MapReduce 和 Spark 也适应性的设计了多层级的数据本地化策略，即任务尽可能被分配到存储所需数据的对应节点上做计算，以减少中间数据交互产生的网络开销和额外的存储压力，提升整体的大数据应用效率。

2023-08-17

3510

实现无限存储：基于JuiceFS 创建 Samba 和 NFS 共享

存储 nfs samba 文件系统系统

随着企业数据量的持续增长，存储容量需求日益增大。如何采用没有容量上限的云存储替换本容量有限的本地磁盘，已成为广泛的需求和共识。特别是在企业中常用的 Samba 和 NFS 共享，如果能够使用云存储作为底层存储，就能有效解决存储扩容和本地磁盘损坏导致的数据丢失问题。

2023-08-10

4350

万字长文 | Hadoop 上云：存算分离架构设计与迁移实践

hadoop 架构设计迁移实践数据

一面数据原有的技术架构是在线下机房中使用 CDH 构建的大数据集群。自公司成立以来，每年都保持着高速增长，业务的增长带来了数据量的剧增。

2023-07-24

4970

文件系统考古4：如何支持多个文件系统

函数接口文件系统系统指针

Steve Kleiman 在 1986 年撰写了《Vnodes: An Architecture for Multiple File System Types in Sun UNIX》一文。这篇论文幅较短，大部分内容是数据结构的列举，以及 C 语言结构之间相互指向的图表。

2023-07-10

2060

文件系统考古：1974-Unix V7 File System

unix file system 磁盘文件系统

有时，进步难以察觉，特别是当你正身处其中时。而对比新旧资料之间的差异，寻找那些推动变革的信息源，我们就可以清晰地看到进步的发生。在Linux（以及大部分Unix系统）中，都可以印证这一点。

2023-05-27

2110

从本地到云端：豆瓣如何使用 JuiceFS 实现统一的数据存储

存储工具集群数据数据存储

豆瓣成立于 2005 年，是中国最早的社交网站之一。在 2009 到 2019 的十年间，豆瓣数据平台经历了几轮变迁，形成了 DPark + Mesos + MooseFS 的架构。

2023-05-27

8570

Sidecar-详解 JuiceFS CSI Driver 新模式

容器 driver 工作客户端配置

近期发布的 JuiceFS CSI Driver v0.18 版本中，我们提供了一种全新的方式访问文件系统，即 JuiceFS 客户端以 Sidecar 方式运行于应用 Pod 中，且客户端与应用同生命周期。

2023-05-27

3790

加速 AI 训练，如何在云上实现灵活的弹性吞吐

存储缓存量化数据性能

AI 已经成为各行各业软件研发的基础，带来了前所未有的效率和创新。今天，我们将分享苏锐在AWS量化投研行业活动的演讲实录，为大家介绍JuiceFS 在 AI 量化投研领域的应用经验，也希望为其他正在云上构建机器学习平台，面临热点数据吞吐不足的企业提供一些启发。

2023-05-09

4430

存算分离实践：JuiceFS 在中国电信日均 PB 级数据场景的应用

存储对象存储集群实践数据

中国电信大数据集群每日数据量庞大，单个业务单日量级可达到 PB 级别，且存在大量过期数据（冷数据）、冗余数据，存储压力大；每个省公司都有自己的集群，以及多个收集全国各省级业务信息的集团大数据集群，导致数据分散冗余，省集群与集团集群数据无法共享，跨地域任务延迟高。

2023-05-09

4740

点击加载更多

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态