JuiceFS 数据加密原理

JuiceFS 作为分布文件系统,每天与海量的数据打着交道,因此数据的安全性尤为关键,今天就来介绍一下 JuiceFS 在数据加密方面所做的努力。

传输中数据加密

JuiceFS 在网络上传输时会对数据进行加密,以防止未经授权的用户窃听网络通信。

JuiceFS 客户端始终使用 HTTPS 把数据上传到对象存储服务,以下情况除外:

  • 使用内部端点上传至阿里云 OSS
  • 使用内部端点上传至 UCloud US3

静态数据加密

JuiceFS 支持静态数据加密,即在上传到对象存储之前对数据进行加密。在这种情况下,存储在对象存储中的数据将会被加密,这可以在对象存储本身被破坏时有效地防止数据泄露。

JuiceFS 在客户端加密中采用了行业标准的加密方式(AES-GCM 和 RSA)。加密和解密是在 JuiceFS 客户端进行的。用户唯一需要做的是在 JuiceFS 挂载时提供一个私人密钥或密码,并像普通文件系统一样使用它。它对应用程序是完全透明的。

注意:在客户端缓存的数据是不加密的。不过,只有 root 用户或所有者可以访问这些数据。如果要把缓存的数据也加密,你可以把缓存目录放在一个加密的文件系统或块存储中。

加密和解密方法

必须为每个加密的文件系统创建一个全局 RSA 密钥 M。在对象存储中保存的每个对象都将有自己的随机对称密钥 S。数据用对称密钥 S 进行 AES-GCM 加密,S 用全局 RSA 密钥 M 进行加密,RSA 密钥使用用户指定的口令进行加密。

image

数据加密的详细过程如下:

  • 在写入对象存储之前,数据块会使用 LZ4 或 ZStandard 进行压缩。
  • 为每个块生成一个随机的 256 位对称密钥 S 和一个随机种子 N
  • 基于 AES-GCM 使用 SN 对每个块进行加密。
  • 使用 RSA 密钥 M 对对称密钥 S 进行加密得到密文 K
  • 将加密后的数据、密文 K 和随机种子 N 组合成对象,然后写入对象存储。

数据解密的步骤如下:

  • 读取整个加密对象(它可能比 4MB 大一点)。
  • 解析对象数据得到密文 K、随机种子 N 和被加密的数据。
  • 用 RSA 密钥解密 K,得到对称密钥 S
  • 基于 AES-GCM 使用 SN 解密数据得到数据块明文。
  • 对数据块解压缩。

密钥管理

在启用加密功能时,RSA 密钥的安全是极其重要的。如果密钥被泄露,可能会导致数据泄露。如果密钥丢失,那么所有的加密数据都将丢失,而且无法恢复。

当使用 juicefs format 创建一个新卷时,可以通过 --encrypt-rsa-key 参数指定 RSA 私钥来启用静态加密,该私钥将会被保存到 Redis。当私钥被密码保护时,可以使用环境变量 JFS_RSA_PASSPHRASE 来指定密码。

使用方法:

生成 RSA 密钥

$ openssl genrsa -out my-priv-key.pem -aes256 2048

在格式化时提供该密钥

$ juicefs format --encrypt-rsa-key my-priv-key.pem META-URL NAME

注意:如果私钥受密码保护,在执行 juicefs mount 时应使用 JFS_RSA_PASSPHRASE 来指定该密码。

性能

TLS、HTTPS 和 AES-256 在现代 CPU 中的实现非常高效。因此,启用加密功能对文件系统的性能影响并不大。RSA 算法相对较慢,特别是解密过程。建议在存储加密中使用 2048 位 RSA 密钥。使用 4096 位密钥可能会对读取性能产生重大影响。

总结

文件系统加密技术几乎可以适用于任何基于文件系统的数据库存储加密需求,本文从原理出发到实际操作如何生成并使用密钥,详细介绍了 JuiceFS 对数据加密解密的过程 。未来,JuiceFS 将持续努力为您的数据安全保驾护航。

推荐阅读:知乎 x JuiceFS:利用 JuiceFS 给 Flink 容器启动加速

如有帮助的话欢迎关注我们项目 Juicedata/JuiceFS 哟! (0ᴗ0✿)

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 216,544评论 6 501
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,430评论 3 392
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 162,764评论 0 353
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,193评论 1 292
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,216评论 6 388
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,182评论 1 299
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,063评论 3 418
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,917评论 0 274
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,329评论 1 310
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,543评论 2 332
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,722评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,425评论 5 343
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,019评论 3 326
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,671评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,825评论 1 269
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,729评论 2 368
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,614评论 2 353

推荐阅读更多精彩内容