知己知彼——从技术层面浅谈IPFS存储和检索

关注微博:@IFPS宗师风清扬

通过之前的介绍,相信大家都已经知道IPFS中的激励层Filecoin主要是通过检索和存储两种收益模式,但是关于IPFS到底是如何进行存储和读取的相信很多朋友还是比较模糊的。俗话说知己知彼,百战不殆。想知道IPFS到底值不值得投资,下面就给大家具体介绍一下存储和检索。

单文件存储

首先IPFS是一个文件系统,但是和一般的文件系统不同的是IPFS是没有存储上限的,同时也是没有空间回收的功能的。我们可以将IPFS存储文件分为下面几个步骤来分析:

1

把单个文件进行拆分为块(block),每个块的大小都是256KB。大部分时候还有残留的小文件(小于1KB)的文件,这个时候将不再额外占据一个块的大小,而是把数据内容和Hash一起上传给IPFS节点。

2

块分好之后就会逐个计算block hash,hash1=hash(block1),hashn=hash(blockn);

3

编好号之后将所有的block hash拼凑成一个数组然后再计算一次hash,这个时候就能得到文件最终的hash(file)。最后把hash(file)和block hash数组捆绑成一个对象,这个对象就是索引结构了。

4

如果要把文件同步到IPFS网络就只要把block和索引结构全部上传到IPFS节点上;

由于IPFS是不支持空间回收的,文件一旦同步到IPFS就将永久存在了,这时候很多人就会有疑问如果频繁的编辑大文件,编辑一次同步一次的话不是会过度浪费很多空间。其实不是这样的。我们用一个例子来说明一下。

我这里有一份2G的大型文件已经同步大IPFS网络上了,现在又在这个文件里面追加了100k内容重新同步,按照之前的理解应该是需要2G+2G+100K的空间。然而IPFS中文件是分块存储的,相同hash的block只会被存储一次。因为之前2G的内容没有改变,所以在IPSF网络中这些数据不会被分配新的空间,只会把新的100K数据重新分配一个block然后上传hash,所以实际上占用的空间只会是:2G+100K。

如果是不同文件中存在很多数据重复的现象的话,例如不同字幕的电影;当两部不同字幕的同一部电影都被上传到IPFS网络中的时候,其中大部分block的hash是一致的。这些block在IPFS上也只会存储一份。所以一个block可能会有多个文件的索引指向,这就是Merkle DAG。因为所有的索引都保存了hash,所以具有内容可寻址、数据无法篡改和重复数据删除的特点。

检索

了解了IPFS存储的方式之后,检索的过程就比较简单了,基本上就是存储方式的一个逆推过程:

1

首先找到该文件hash的block hash数组(IPFS生态中矿工的职责)然后下载下来;

2

得到block的索引之后就可以根据block hash搜索block所在节点的位置然后下载;

3

最后根据block hash数组的顺序把文件拼接完整。

IPFS前景分析

前文所说的是只是一个IPFS block的大概描述,中间涉及的技术细节很多很复杂;而且IPFS的生态也很大,还有很多的优点,比如高可用属性、不会宕机、不怕恶意攻击、文件不丢失等等。

微博:IPFS宗师风清扬


转自微信公众号行会走点存科技有限公司,侵权请告知

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 214,837评论 6 496
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,551评论 3 389
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 160,417评论 0 350
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,448评论 1 288
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,524评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,554评论 1 293
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,569评论 3 414
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,316评论 0 270
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,766评论 1 307
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,077评论 2 330
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,240评论 1 343
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,912评论 5 338
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,560评论 3 322
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,176评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,425评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,114评论 2 366
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,114评论 2 352

推荐阅读更多精彩内容