# 分散化ストレージの進化の道:理想から現実へストレージはかつてブロックチェーン業界の人気のある分野の一つでした。Filecoinは前回のブルマーケットのリーダープロジェクトとして、市場価値が一時100億ドルを超えました。Arweaveは永続ストレージを売りにしており、最高市場価値は35億ドルに達しました。しかし、冷データストレージの限界が明らかになるにつれて、永続ストレージの必要性が疑問視され、分散化ストレージの将来にも疑問符が付けられました。Walrusの出現は、長らく静まり返っていたストレージ分野に新たな活力をもたらしました。そして今、AptosはJump Cryptoと提携してShelbyを発表し、分散化ストレージをホットデータ領域で新たな高みへと引き上げることを目指しています。さて、分散化ストレージは再び脚光を浴び、広範なアプリケーションシーンにソリューションを提供できるのでしょうか？それとも単なるもう一度のブームなのでしょうか？この記事では、Filecoin、Arweave、Walrus、Shelbyの4つのプロジェクトの発展の道筋を出発点として、分散化ストレージの物語の変遷を解析し、分散化ストレージ普及の未来の展望について考察します。! [FilecoinとArweaveからWalrusとShelbyへ:分散型ストレージの人気からどれくらい離れていますか? ](https://img-cdn.gateio.im/social/moments-1ebd281e65dedbe6216b5e1496a2963e)## Filecoin:ストレージの名,マイニングの実Filecoinは初期に登場した暗号通貨プロジェクトの一つであり、その発展方向は自然と分散化に関わっています。これは初期の暗号プロジェクトの一般的な特徴であり、様々な伝統的な分野の中で分散化の意義を探求しています。Filecoinも例外ではなく、ストレージと分散化を結びつけることで、中心化されたデータストレージの欠点、すなわち中心化ストレージサービスプロバイダーへの信頼仮定を自然に指摘しています。したがって、Filecoinの目標は中心化ストレージを分散化ストレージに転換することです。しかし、分散化を実現するために犠牲にされたある側面は、後にArweaveやWalrusなどのプロジェクトが解決しようとする痛点となりました。Filecoinが実質的にただのマイニングコインである理由を理解するためには、その基盤技術であるIPFSがホットデータを処理するのに適していないという客観的制約を理解する必要があります。### IPFS:分散化アーキテクチャではあるが、伝送ボトルネックに制約されているIPFS(星際ファイルシステム)は2015年頃に登場し、コンテンツアドレッシングを通じて従来のHTTPプロトコルを覆すことを目的としています。IPFSの最大の欠点は取得速度が非常に遅いことです。従来のデータサービスプロバイダーがミリ秒単位の応答を達成できる時代において、IPFSでファイルを取得するには十数秒かかるため、実際のアプリケーションでの普及が難しく、また少数のブロックチェーンプロジェクトを除いて、従来の産業でほとんど採用されていない理由を説明しています。IPFSの基盤となるP2Pプロトコルは主に「コールドデータ」、つまりあまり変動しない静的コンテンツ、例えば動画、画像、文書などに適しています。しかし、ホットデータ、例えば動的ウェブページ、オンラインゲーム、または人工知能アプリケーションを扱う際には、P2Pプロトコルは従来のCDNに対して明確な利点を持っていません。IPFS自体はブロックチェーンではありませんが、その採用されている有向非循環グラフ(DAG)の設計理念は、多くのパブリックチェーンやWeb3プロトコルと高度に適合しており、ブロックチェーンの基盤構築フレームワークとして生まれながらに適しています。したがって、実用的な価値がなくても、ブロックチェーンの物語を支える基盤フレームワークとしては十分であり、初期の暗号プロジェクトは、実行可能なフレームワークさえあれば壮大なビジョンを開始することができました。しかし、Filecoinが一定の段階に達すると、IPFSがもたらす限界がその前進を妨げ始めました。### ストレージの外衣下のマイニングコインのロジックIPFSの設計の目的は、ユーザーがデータを保存するだけでなく、ストレージネットワークの一部としても機能することです。しかし、経済的なインセンティブがない場合、ユーザーは自発的にこのシステムを使用することが難しく、活発なストレージノードになることはなおさら困難です。つまり、ほとんどのユーザーはファイルをIPFSに保存するだけで、自分のストレージスペースを提供したり、他の人のファイルを保存したりすることはありません。このような背景の中で、Filecoinが登場しました。Filecoinのトークン経済モデルには主に3つの役割があります: ユーザーはデータを保存するための料金を支払う責任があります; ストレージマイナーはユーザーのデータを保存することでトークンのインセンティブを得ます; リトリーバーマイナーはユーザーが必要とする際にデータを提供し、インセンティブを得ます。このモデルには潜在的な悪用の余地があります。ストレージマイナーはストレージスペースを提供した後、報酬を得るためにゴミデータを充填する可能性があります。これらのゴミデータは検索されないため、たとえ失われてもストレージマイナーの罰則メカニズムは発動しません。これにより、ストレージマイナーはゴミデータを削除し、このプロセスを繰り返すことができます。Filecoinの複製証明コンセンサスはユーザーデータが私的に削除されていないことを保証することができますが、マイナーがゴミデータを充填するのを防ぐことはできません。Filecoinの運用は、ユーザーの分散ストレージに対する実際の需要ではなく、マイナーのトークン経済への継続的な投資に大きく依存しています。プロジェクトはまだ継続的にイテレーションを重ねていますが、現段階では、Filecoinのエコシステム構築は「マイニングコインロジック」により適しており、「アプリケーション駆動」のストレージプロジェクト定義にはなっていません。## Arweave:長期主義によって成り、長期主義によって敗れるもしFilecoinの設計目標が、インセンティブを与え、証明可能な分散化された"データクラウド"の殻を構築することであるなら、Arweaveはデータに永久的な保存能力を提供するという別の方向に極端に進んでいます。Arweaveは分散型計算プラットフォームを構築しようとはしておらず、その全システムは一つの核心的仮定に基づいて展開されています - 重要なデータは一度だけ保存され、ネットワークに永遠に留まるべきです。この極端な長期主義により、Arweaveはメカニズムからインセンティブモデル、ハードウェアの要求から物語の視点まで、Filecoinとは大きく異なります。Arweaveはビットコインを学習対象として、年単位の長期的な周期の中で自身の永久保存ネットワークを絶えず最適化しようとしています。Arweaveはマーケティングや競合他社、市場のトレンドを気にしません。ただネットワークアーキテクチャのイテレーションを進めることに専念しており、誰も関心を持たなくても気にしないのです。なぜなら、これがArweave開発チームの本質だからです: 長期主義です。長期主義のおかげで、Arweaveは前回のブルマーケットで熱烈に支持されました; また、長期主義のために、どんなに底に落ちても、Arweaveは数回のブルとベアを乗り越える可能性があります。ただ、未来の分散化ストレージにArweaveが居場所を持つかどうかは分かりません。永久保存の存在価値は時間によってのみ証明されるのです。Arweaveのメインネットは1.5バージョンから最近の2.9バージョンまで、市場の注目を失っているにもかかわらず、より広範な範囲のマイナーが最小限のコストでネットワークに参加できるよう努力し、マイナーがデータを最大限に保存することを奨励し、ネットワーク全体の堅牢性を向上させ続けています。Arweaveは、自身が市場の好みに合わないことを深く理解した上で保守的な路線を採り、マイナーコミュニティを受け入れず、生態系は完全に停滞し、最小限のコストでメインネットをアップグレードし、ネットワークの安全性を損なうことなく、ハードウェアのハードルを継続的に引き下げています。### 1.5-2.9のアップグレードの道のりの振り返りArweave 1.5バージョンは、マイナーが実際のストレージではなくGPUスタッキングに依存してブロック生成の確率を最適化できる脆弱性を暴露しました。この傾向を抑制するために、1.7バージョンではRandomXアルゴリズムが導入され、専門的な計算能力の使用が制限され、一般的なCPUがマイニングに参加することが要求され、計算能力の分散化が弱められました。2.0バージョンでは、ArweaveがSPoAを採用し、データ証明をメルクルツリー構造の簡潔なパスに変換し、フォーマット2トランザクションを導入して同期の負担を軽減しています。このアーキテクチャは、ネットワークの帯域幅の圧力を軽減し、ノードの協調能力を著しく向上させました。しかし、一部のマイナーは依然として集中化された高速ストレージプールの戦略を通じて、実際のデータ保持責任を回避することができます。この偏りを是正するために、2.4ではSPoRAメカニズムを導入し、グローバルインデックスと遅延ハッシュランダムアクセスを取り入れました。これにより、マイナーは有効なブロック生成に参加するためにデータブロックを実際に保有する必要があり、メカニズム的に計算能力の積み重ね効果を弱めています。その結果、マイナーはストレージアクセスの速度に注目し、SSDや高速読み書きデバイスの利用が促進されました。2.6ではハッシュチェーンを導入してブロック生成のリズムを制御し、高性能デバイスの限界利益をバランスさせ、中小マイナーに公平な参加の場を提供しました。次のバージョンでは、ネットワーク協力能力とストレージの多様性がさらに強化されます。2.7では協力的なマイニングとマイニングプールのメカニズムが追加され、小規模マイナーの競争力が向上します。2.8ではコンパウンドパッキングメカニズムが導入され、大容量低速デバイスが柔軟に参加できるようになります。2.9ではreplica_2_9形式で新しいパッキングプロセスが導入され、効率が大幅に向上し、計算依存が低減され、データ指向のマイニングモデルのクローズドループが完成します。全体として、Arweaveのアップグレードパスはストレージ指向の長期戦略を明確に示しています: 計算力の集中傾向に抵抗し続けながら、参加のハードルを継続的に下げ、プロトコルの長期的な運用の可能性を保証します。## ワルラス: ホットデータを受け入れることは、単なる宣伝か、それとも深い意味があるのか?Walrusは設計思想の上では、FilecoinやArweaveとは全く異なります。Filecoinの出発点は、分散化された検証可能なストレージシステムを構築することであり、その代償はコールドデータの保存です。Arweaveの出発点は、永久にデータを保存できるオンチェーンのアレクサンドリア図書館を作ることであり、その代償はシーンが少なすぎることです。Walrusの出発点は、ストレージコストを最適化するためのホットデータストレージプロトコルです。### 魔改纠删码:コスト革新それとも新瓶旧酒?ストレージコストの設計に関して、WalrusはFilecoinとArweaveのストレージオーバーヘッドが不合理であると考えています。後者の2つは完全コピーアーキテクチャを採用しており、主な利点は各ノードが完全コピーを保持しているため、強力なフォールトトレランスとノード間の独立性を備えていることです。このようなアーキテクチャは、部分的にノードがオフラインになってもネットワークがデータの可用性を持つことを保証します。しかし、これはシステムが堅牢性を維持するために複数のコピーの冗長性を必要とすることを意味し、結果としてストレージコストが上昇します。特にArweaveの設計においては、コンセンサスメカニズム自体がノードの冗長ストレージを奨励し、データの安全性を高めることを目的としています。それに対して、Filecoinはコスト管理においてより柔軟性を持っていますが、その代償として一部の低コストストレージはより高いデータ損失リスクを伴う可能性があります。Walrusは両者の間でバランスを取ろうとし、そのメカニズムはコピーコストを制御しつつ、構造化された冗長性を通じて可用性を高めることで、データの可用性とコスト効率の間に新たな妥協の道を築こうとしています。Walrusが創ったRedstuffはノードの冗長性を減少させるための重要な技術で、Reed-Solomon(RS)コーディングに由来します。RSコーディングは非常に伝統的なエラー訂正符号アルゴリズムで、エラー訂正符号は冗長なフラグメント(erasure code)を追加することによってデータセットを倍増させる技術で、元のデータを再構築するために使用できます。CD-ROMから衛星通信、QRコードに至るまで、日常生活の中で頻繁に使用されています。誤り訂正符号は、ユーザーが1MBのブロックを取得し、それを2MBに「拡張」することを許可します。その追加の1MBは、誤り訂正符号と呼ばれる特別なデータです。ブロック内の任意のバイトが失われた場合、ユーザーはコードを使用して簡単にそれらのバイトを復元できます。最大で1MBのブロックが失われた場合でも、全体のブロックを復元できます。同じ技術により、コンピュータはCD-ROM内のすべてのデータを読み取ることができ、たとえそれが損傷していても可能です。現在最も一般的に使用されているのはRS符号です。実装方法は、k個の情報ブロックから始め、関連する多項式を構築し、異なるx座標でそれを評価して符号化ブロックを取得することです。RS誤り訂正符号を使用すると、大量のデータがランダムに失われる可能性は非常に低くなります。例を挙げると、1つのファイルを6つのデータブロックと4つのチェックブロックに分け、合計10部になる。任意の6部を保持するだけで、元のデータを完全に復元できる。利点:フォールトトレランスが高く、CD/DVD、障害耐性ハードディスクアレイ(RAID)、およびクラウドストレージシステム(として広く利用されています。Azure Storage、Facebook F4)のように。欠点:デコード計算が複雑で、オーバーヘッドが高い;頻繁に変動するデータシーンには適していない。そのため通常はチェーン外の分散化された環境でのデータ復元とスケジューリングに使用されます。分散化アーキテクチャの下で、StorjとSiaは従来のRSコーディングを調整し、分散ネットワークの実際のニーズに適応させました。Walrusもこの基盤の上に独自の変種 - RedStuffコーディングアルゴリズムを提案し、より低コストでより柔軟な冗長ストレージメカニズムを実現しています。Redstuffの最大の特徴は何ですか？改良されたエラーレジスタコーディングアルゴリズムを通じて、Walrusは非構造化データブロックを小さなフラグメントに迅速かつ堅牢にエンコードでき、これらのフラグメントはストレージノードネットワークに分散して保存されます。3分の2のフラグメントが失われても、部分フラグメントを使用して元のデータブロックを迅速に再構築できます。これは、レプリケーションファクターが4倍から5倍のままで可能になります。したがって、Walrusを囲いとして定義します
分散化ストレージの進化: FILマイニング通貨からWalrusのホットデータへの突破口
分散化ストレージの進化の道:理想から現実へ
ストレージはかつてブロックチェーン業界の人気のある分野の一つでした。Filecoinは前回のブルマーケットのリーダープロジェクトとして、市場価値が一時100億ドルを超えました。Arweaveは永続ストレージを売りにしており、最高市場価値は35億ドルに達しました。しかし、冷データストレージの限界が明らかになるにつれて、永続ストレージの必要性が疑問視され、分散化ストレージの将来にも疑問符が付けられました。
Walrusの出現は、長らく静まり返っていたストレージ分野に新たな活力をもたらしました。そして今、AptosはJump Cryptoと提携してShelbyを発表し、分散化ストレージをホットデータ領域で新たな高みへと引き上げることを目指しています。さて、分散化ストレージは再び脚光を浴び、広範なアプリケーションシーンにソリューションを提供できるのでしょうか？それとも単なるもう一度のブームなのでしょうか？この記事では、Filecoin、Arweave、Walrus、Shelbyの4つのプロジェクトの発展の道筋を出発点として、分散化ストレージの物語の変遷を解析し、分散化ストレージ普及の未来の展望について考察します。
! FilecoinとArweaveからWalrusとShelbyへ:分散型ストレージの人気からどれくらい離れていますか?
Filecoin:ストレージの名,マイニングの実
Filecoinは初期に登場した暗号通貨プロジェクトの一つであり、その発展方向は自然と分散化に関わっています。これは初期の暗号プロジェクトの一般的な特徴であり、様々な伝統的な分野の中で分散化の意義を探求しています。Filecoinも例外ではなく、ストレージと分散化を結びつけることで、中心化されたデータストレージの欠点、すなわち中心化ストレージサービスプロバイダーへの信頼仮定を自然に指摘しています。したがって、Filecoinの目標は中心化ストレージを分散化ストレージに転換することです。しかし、分散化を実現するために犠牲にされたある側面は、後にArweaveやWalrusなどのプロジェクトが解決しようとする痛点となりました。Filecoinが実質的にただのマイニングコインである理由を理解するためには、その基盤技術であるIPFSがホットデータを処理するのに適していないという客観的制約を理解する必要があります。
IPFS:分散化アーキテクチャではあるが、伝送ボトルネックに制約されている
IPFS(星際ファイルシステム)は2015年頃に登場し、コンテンツアドレッシングを通じて従来のHTTPプロトコルを覆すことを目的としています。IPFSの最大の欠点は取得速度が非常に遅いことです。従来のデータサービスプロバイダーがミリ秒単位の応答を達成できる時代において、IPFSでファイルを取得するには十数秒かかるため、実際のアプリケーションでの普及が難しく、また少数のブロックチェーンプロジェクトを除いて、従来の産業でほとんど採用されていない理由を説明しています。
IPFSの基盤となるP2Pプロトコルは主に「コールドデータ」、つまりあまり変動しない静的コンテンツ、例えば動画、画像、文書などに適しています。しかし、ホットデータ、例えば動的ウェブページ、オンラインゲーム、または人工知能アプリケーションを扱う際には、P2Pプロトコルは従来のCDNに対して明確な利点を持っていません。
IPFS自体はブロックチェーンではありませんが、その採用されている有向非循環グラフ(DAG)の設計理念は、多くのパブリックチェーンやWeb3プロトコルと高度に適合しており、ブロックチェーンの基盤構築フレームワークとして生まれながらに適しています。したがって、実用的な価値がなくても、ブロックチェーンの物語を支える基盤フレームワークとしては十分であり、初期の暗号プロジェクトは、実行可能なフレームワークさえあれば壮大なビジョンを開始することができました。しかし、Filecoinが一定の段階に達すると、IPFSがもたらす限界がその前進を妨げ始めました。
ストレージの外衣下のマイニングコインのロジック
IPFSの設計の目的は、ユーザーがデータを保存するだけでなく、ストレージネットワークの一部としても機能することです。しかし、経済的なインセンティブがない場合、ユーザーは自発的にこのシステムを使用することが難しく、活発なストレージノードになることはなおさら困難です。つまり、ほとんどのユーザーはファイルをIPFSに保存するだけで、自分のストレージスペースを提供したり、他の人のファイルを保存したりすることはありません。このような背景の中で、Filecoinが登場しました。
Filecoinのトークン経済モデルには主に3つの役割があります: ユーザーはデータを保存するための料金を支払う責任があります; ストレージマイナーはユーザーのデータを保存することでトークンのインセンティブを得ます; リトリーバーマイナーはユーザーが必要とする際にデータを提供し、インセンティブを得ます。
このモデルには潜在的な悪用の余地があります。ストレージマイナーはストレージスペースを提供した後、報酬を得るためにゴミデータを充填する可能性があります。これらのゴミデータは検索されないため、たとえ失われてもストレージマイナーの罰則メカニズムは発動しません。これにより、ストレージマイナーはゴミデータを削除し、このプロセスを繰り返すことができます。Filecoinの複製証明コンセンサスはユーザーデータが私的に削除されていないことを保証することができますが、マイナーがゴミデータを充填するのを防ぐことはできません。
Filecoinの運用は、ユーザーの分散ストレージに対する実際の需要ではなく、マイナーのトークン経済への継続的な投資に大きく依存しています。プロジェクトはまだ継続的にイテレーションを重ねていますが、現段階では、Filecoinのエコシステム構築は「マイニングコインロジック」により適しており、「アプリケーション駆動」のストレージプロジェクト定義にはなっていません。
Arweave:長期主義によって成り、長期主義によって敗れる
もしFilecoinの設計目標が、インセンティブを与え、証明可能な分散化された"データクラウド"の殻を構築することであるなら、Arweaveはデータに永久的な保存能力を提供するという別の方向に極端に進んでいます。Arweaveは分散型計算プラットフォームを構築しようとはしておらず、その全システムは一つの核心的仮定に基づいて展開されています - 重要なデータは一度だけ保存され、ネットワークに永遠に留まるべきです。この極端な長期主義により、Arweaveはメカニズムからインセンティブモデル、ハードウェアの要求から物語の視点まで、Filecoinとは大きく異なります。
Arweaveはビットコインを学習対象として、年単位の長期的な周期の中で自身の永久保存ネットワークを絶えず最適化しようとしています。Arweaveはマーケティングや競合他社、市場のトレンドを気にしません。ただネットワークアーキテクチャのイテレーションを進めることに専念しており、誰も関心を持たなくても気にしないのです。なぜなら、これがArweave開発チームの本質だからです: 長期主義です。長期主義のおかげで、Arweaveは前回のブルマーケットで熱烈に支持されました; また、長期主義のために、どんなに底に落ちても、Arweaveは数回のブルとベアを乗り越える可能性があります。ただ、未来の分散化ストレージにArweaveが居場所を持つかどうかは分かりません。永久保存の存在価値は時間によってのみ証明されるのです。
Arweaveのメインネットは1.5バージョンから最近の2.9バージョンまで、市場の注目を失っているにもかかわらず、より広範な範囲のマイナーが最小限のコストでネットワークに参加できるよう努力し、マイナーがデータを最大限に保存することを奨励し、ネットワーク全体の堅牢性を向上させ続けています。Arweaveは、自身が市場の好みに合わないことを深く理解した上で保守的な路線を採り、マイナーコミュニティを受け入れず、生態系は完全に停滞し、最小限のコストでメインネットをアップグレードし、ネットワークの安全性を損なうことなく、ハードウェアのハードルを継続的に引き下げています。
1.5-2.9のアップグレードの道のりの振り返り
Arweave 1.5バージョンは、マイナーが実際のストレージではなくGPUスタッキングに依存してブロック生成の確率を最適化できる脆弱性を暴露しました。この傾向を抑制するために、1.7バージョンではRandomXアルゴリズムが導入され、専門的な計算能力の使用が制限され、一般的なCPUがマイニングに参加することが要求され、計算能力の分散化が弱められました。
2.0バージョンでは、ArweaveがSPoAを採用し、データ証明をメルクルツリー構造の簡潔なパスに変換し、フォーマット2トランザクションを導入して同期の負担を軽減しています。このアーキテクチャは、ネットワークの帯域幅の圧力を軽減し、ノードの協調能力を著しく向上させました。しかし、一部のマイナーは依然として集中化された高速ストレージプールの戦略を通じて、実際のデータ保持責任を回避することができます。
この偏りを是正するために、2.4ではSPoRAメカニズムを導入し、グローバルインデックスと遅延ハッシュランダムアクセスを取り入れました。これにより、マイナーは有効なブロック生成に参加するためにデータブロックを実際に保有する必要があり、メカニズム的に計算能力の積み重ね効果を弱めています。その結果、マイナーはストレージアクセスの速度に注目し、SSDや高速読み書きデバイスの利用が促進されました。2.6ではハッシュチェーンを導入してブロック生成のリズムを制御し、高性能デバイスの限界利益をバランスさせ、中小マイナーに公平な参加の場を提供しました。
次のバージョンでは、ネットワーク協力能力とストレージの多様性がさらに強化されます。2.7では協力的なマイニングとマイニングプールのメカニズムが追加され、小規模マイナーの競争力が向上します。2.8ではコンパウンドパッキングメカニズムが導入され、大容量低速デバイスが柔軟に参加できるようになります。2.9ではreplica_2_9形式で新しいパッキングプロセスが導入され、効率が大幅に向上し、計算依存が低減され、データ指向のマイニングモデルのクローズドループが完成します。
全体として、Arweaveのアップグレードパスはストレージ指向の長期戦略を明確に示しています: 計算力の集中傾向に抵抗し続けながら、参加のハードルを継続的に下げ、プロトコルの長期的な運用の可能性を保証します。
ワルラス: ホットデータを受け入れることは、単なる宣伝か、それとも深い意味があるのか?
Walrusは設計思想の上では、FilecoinやArweaveとは全く異なります。Filecoinの出発点は、分散化された検証可能なストレージシステムを構築することであり、その代償はコールドデータの保存です。Arweaveの出発点は、永久にデータを保存できるオンチェーンのアレクサンドリア図書館を作ることであり、その代償はシーンが少なすぎることです。Walrusの出発点は、ストレージコストを最適化するためのホットデータストレージプロトコルです。
魔改纠删码:コスト革新それとも新瓶旧酒?
ストレージコストの設計に関して、WalrusはFilecoinとArweaveのストレージオーバーヘッドが不合理であると考えています。後者の2つは完全コピーアーキテクチャを採用しており、主な利点は各ノードが完全コピーを保持しているため、強力なフォールトトレランスとノード間の独立性を備えていることです。このようなアーキテクチャは、部分的にノードがオフラインになってもネットワークがデータの可用性を持つことを保証します。しかし、これはシステムが堅牢性を維持するために複数のコピーの冗長性を必要とすることを意味し、結果としてストレージコストが上昇します。特にArweaveの設計においては、コンセンサスメカニズム自体がノードの冗長ストレージを奨励し、データの安全性を高めることを目的としています。それに対して、Filecoinはコスト管理においてより柔軟性を持っていますが、その代償として一部の低コストストレージはより高いデータ損失リスクを伴う可能性があります。Walrusは両者の間でバランスを取ろうとし、そのメカニズムはコピーコストを制御しつつ、構造化された冗長性を通じて可用性を高めることで、データの可用性とコスト効率の間に新たな妥協の道を築こうとしています。
Walrusが創ったRedstuffはノードの冗長性を減少させるための重要な技術で、Reed-Solomon(RS)コーディングに由来します。RSコーディングは非常に伝統的なエラー訂正符号アルゴリズムで、エラー訂正符号は冗長なフラグメント(erasure code)を追加することによってデータセットを倍増させる技術で、元のデータを再構築するために使用できます。CD-ROMから衛星通信、QRコードに至るまで、日常生活の中で頻繁に使用されています。
誤り訂正符号は、ユーザーが1MBのブロックを取得し、それを2MBに「拡張」することを許可します。その追加の1MBは、誤り訂正符号と呼ばれる特別なデータです。ブロック内の任意のバイトが失われた場合、ユーザーはコードを使用して簡単にそれらのバイトを復元できます。最大で1MBのブロックが失われた場合でも、全体のブロックを復元できます。同じ技術により、コンピュータはCD-ROM内のすべてのデータを読み取ることができ、たとえそれが損傷していても可能です。
現在最も一般的に使用されているのはRS符号です。実装方法は、k個の情報ブロックから始め、関連する多項式を構築し、異なるx座標でそれを評価して符号化ブロックを取得することです。RS誤り訂正符号を使用すると、大量のデータがランダムに失われる可能性は非常に低くなります。
例を挙げると、1つのファイルを6つのデータブロックと4つのチェックブロックに分け、合計10部になる。任意の6部を保持するだけで、元のデータを完全に復元できる。
利点:フォールトトレランスが高く、CD/DVD、障害耐性ハードディスクアレイ(RAID)、およびクラウドストレージシステム(として広く利用されています。Azure Storage、Facebook F4)のように。
欠点:デコード計算が複雑で、オーバーヘッドが高い;頻繁に変動するデータシーンには適していない。そのため通常はチェーン外の分散化された環境でのデータ復元とスケジューリングに使用されます。
分散化アーキテクチャの下で、StorjとSiaは従来のRSコーディングを調整し、分散ネットワークの実際のニーズに適応させました。Walrusもこの基盤の上に独自の変種 - RedStuffコーディングアルゴリズムを提案し、より低コストでより柔軟な冗長ストレージメカニズムを実現しています。
Redstuffの最大の特徴は何ですか？改良されたエラーレジスタコーディングアルゴリズムを通じて、Walrusは非構造化データブロックを小さなフラグメントに迅速かつ堅牢にエンコードでき、これらのフラグメントはストレージノードネットワークに分散して保存されます。3分の2のフラグメントが失われても、部分フラグメントを使用して元のデータブロックを迅速に再構築できます。これは、レプリケーションファクターが4倍から5倍のままで可能になります。
したがって、Walrusを囲いとして定義します