Эволюция децентрализованного хранения: от идеи к реальности
Хранение когда-то было одной из популярных ниш в индустрии блокчейна. Filecoin, как ведущий проект предыдущего бычьего рынка, на какое-то время имел рыночную капитализацию более 10 миллиардов долларов. Arweave с акцентом на постоянное хранение достигла максимальной капитализации в 3,5 миллиарда долларов. Тем не менее, с раскрытием ограничений хранения холодных данных необходимость в постоянном хранении подверглась сомнению, и перспектива Децентрализация хранения также была под вопросом.
Появление Walrus вдохнуло новую жизнь в давно затихшую область хранения данных. Теперь Aptos совместно с Jump Crypto запускают Shelby, целью которого является поднятие Децентрализация хранения на новый уровень в области горячих данных. Так сможет ли Децентрализация хранения вернуться и предложить решения для широкого спектра приложений? Или это всего лишь еще один виток спекуляций? В данной статье мы рассмотрим развитие четырех проектов: Filecoin, Arweave, Walrus и Shelby, чтобы проанализировать изменение нарратива Децентрализации хранения и обсудить перспективы его распространения в будущем.
Filecoin: имя хранения, суть майнинга
Filecoin является одним из ранних криптовалютных проектов, его направление развития естественным образом связано с Децентрализацией. Это общая черта ранних крипто-проектов - искать значение Децентрализации в различных традиционных областях. Filecoin не является исключением, он связывает хранение с Децентрализацией, тем самым естественно указывая на недостатки централизованного хранения данных: предположение доверия к централизованным поставщикам услуг хранения. Таким образом, цель Filecoin заключается в том, чтобы перейти от централизованного хранения к Децентрализованному. Однако некоторые аспекты, жертвуемые ради достижения Децентрализации, впоследствии стали болезненными точками, которые проекты, такие как Arweave или Walrus, пытаются решить. Чтобы понять, почему Filecoin по сути является лишь майнинг-монетой, необходимо понять объективные ограничения его базовой технологии IPFS, которая не подходит для обработки горячих данных.
IPFS:Децентрализация архитектура, но ограничена узким местом передачи
IPFS( Межпланетная файловая система) появилась около 2015 года с целью изменить традиционный протокол HTTP через адресацию по содержимому. Главный недостаток IPFS заключается в крайне медленной скорости получения. В эпоху, когда традиционные поставщики данных могут достигать отклика в миллисекундах, для получения файла через IPFS всё ещё требуется десятки секунд, что затрудняет его распространение в практическом применении и объясняет, почему, кроме немногих блокчейн-проектов, он редко используется в традиционной отрасли.
Основной P2P протокол IPFS в первую очередь подходит для "холодных данных", то есть для статического контента, который не часто меняется, например, видео, изображения и документы. Однако при работе с горячими данными, такими как динамические веб-страницы, онлайн-игры или приложения искусственного интеллекта, P2P протокол не имеет явных преимуществ по сравнению с традиционными CDN.
Хотя IPFS сам по себе не является блокчейном, его концепция дизайна, основанная на направленном ациклическом графе (DAG), значительно соответствует многим публичным блокчейнам и протоколам Web3, что делает его естественным выбором в качестве основы для построения блокчейна. Поэтому, даже если у него нет практической ценности, как базовый каркас для блокчейн-нарратива он уже достаточно хорош, ранним криптопроектам нужен был лишь работоспособный каркас для реализации грандиозных идей, но когда Filecoin развился до определенной стадии, ограничения, которые привнес IPFS, начали мешать его прогрессу.
Логика майнинговых монет под оболочкой хранения
Дизайн IPFS изначально был направлен на то, чтобы пользователи могли не только хранить данные, но и быть частью сети хранения. Однако без экономических стимулов пользователям сложно добровольно использовать эту систему, не говоря уже о том, чтобы стать активными узлами хранения. Это означает, что большинство пользователей просто будут хранить файлы в IPFS, но не будут вносить свой вклад в хранилище или хранить файлы других. Именно в таком контексте и появился Filecoin.
В экономической модели токенов Filecoin основными являются три роли: пользователи отвечают за оплату стоимости хранения данных; майнеры хранилища получают токеновые вознаграждения за хранение данных пользователей; майнеры извлечения предоставляют данные по запросу пользователей и получают вознаграждение.
Эта модель имеет потенциальное пространство для злоупотреблений. Хранители данных могут заполнять мусорными данными после предоставления места для хранения, чтобы получить вознаграждение. Поскольку эти мусорные данные не будут запрашиваться, их потеря не приведет к активации механизма наказания хранителей данных. Это позволяет хранителям данных удалять мусорные данные и повторять этот процесс. Консенсус на основе доказательства копии в Filecoin может гарантировать, что данные пользователя не были удалены без ведома, но не может предотвратить заполнение мусорными данными.
Работа Filecoin в значительной степени зависит от постоянных вложений майнеров в токеномику, а не от реального спроса конечных пользователей на распределенное хранилище. Несмотря на то, что проект продолжает итерации, на текущем этапе построение экосистемы Filecoin больше соответствует "логике майнинг-криптовалюты", а не определению "приложение-ориентированного" хранилища.
Arweave: Успех в долгосрочной перспективе, провал в долгосрочной перспективе
Если говорить о том, что целью дизайна Filecoin является создание стимулирующей, доказуемой Децентрализации "облака данных", то Arweave идет в противоположном направлении в хранении: предоставляя возможность постоянного хранения данных. Arweave не стремится создать распределенную вычислительную платформу, вся его система строится вокруг одной ключевой гипотезы - важные данные должны храниться один раз и навсегда оставаться в сети. Эта крайняя долгосрочность делает Arweave совершенно отличным от Filecoin по механизму, модели стимулов, требованиям к оборудованию и нарративу.
Arweave использует биткойн в качестве объекта изучения, пытаясь постоянно оптимизировать свою сеть постоянного хранения в долгосрочной перспективе. Arweave не заботится о маркетинге, не заботится о конкурентах и тенденциях рынка. Он просто продолжает двигаться вперед по пути итерации сетевой архитектуры, даже если никто не интересуется, потому что это суть команды разработчиков Arweave: долгосрочность. Благодаря долгосрочности Arweave пользовался огромной популярностью в прошлом бычьем рынке; также из-за долгосрочности, даже если он упадет на дно, Arweave может пережить несколько циклов бычьего и медвежьего рынков. Но будет ли у Arweave место в будущем децентрализованном хранении? Существенная ценность постоянного хранения может быть доказана только временем.
С момента выхода версии 1.5 основной сети Arweave и до недавней версии 2.9, несмотря на потерю интереса со стороны рынка, проект продолжает стремиться к тому, чтобы более широкий круг майнеров мог участвовать в сети с минимальными затратами, а также поощрять майнеров максимально хранить данные, что способствует постоянному повышению стабильности всей сети. Arweave, осознавая, что он не соответствует рыночным предпочтениям, выбирает консервативный путь, не поддерживая майнерские сообщества, и экосистема полностью остановилась, обновляя основную сеть с минимальными затратами, при этом постоянно снижая порог аппаратных требований без ущерба для безопасности сети.
Обзор пути обновления 1.5-2.9
Версия Arweave 1.5 выявила уязвимость, позволяющую майнерам полагаться на стековые GPU вместо реального хранения для оптимизации вероятности создания блока. Чтобы сдержать эту тенденцию, версия 1.7 вводит алгоритм RandomX, ограничивающий использование специализированных вычислительных мощностей и требующий участия универсальных ЦП в майнинге, что ослабляет централизацию вычислительных мощностей.
В версии 2.0 Arweave использует SPoA, преобразуя доказательства данных в компактный путь структуры дерева Меркла и вводя транзакции формата 2 для снижения нагрузки на синхронизацию. Эта архитектура снижает давление на пропускную способность сети, значительно увеличивая способность узлов к сотрудничеству. Однако некоторые майнеры все еще могут избежать ответственности за реальное владение данными, используя стратегию централизованных высокоскоростных хранилищ.
Для коррекции этого уклона в версии 2.4 была введена механика SPoRA, которая включает глобальные индексы и медленный хэш для случайного доступа, заставляя майнеров действительно владеть блоками данных для участия в эффективном создании блоков, что на уровне механизма ослабляет эффект накопления вычислительной мощности. В результате майнеры начали уделять внимание скорости доступа к хранилищу, что способствовало применению SSD и высокоскоростных устройств чтения и записи. В версии 2.6 была введена хэш-цепочка для контроля темпа создания блоков, что сбалансировало предельную полезность высокопроизводительных устройств и предоставило справедливое пространство для участия малым и средним майнерам.
В последующих версиях будет усилена способность сетевого сотрудничества и разнообразие хранения: 2.7 добавляет механизм совместной добычи и пула, увеличивая конкурентоспособность небольших майнеров; 2.8 представляет механизм композитной упаковки, позволяя гибкое участие больших объемов медленных устройств; 2.9 вводит новый процесс упаковки в формате replica_2_9, значительно повышая эффективность и снижая зависимость от вычислений, завершая замкнутый цикл модели добычи, ориентированной на данные.
В целом, путь обновления Arweave четко демонстрирует его долгосрочную стратегию, ориентированную на хранение: одновременно противодействуя тенденции концентрации вычислительной мощности, он продолжает снижать порог участия, обеспечивая возможность долгосрочной работы протокола.
Walrus: Объятие горячих данных — это всего лишь хайп или скрытая мудрость?
С точки зрения дизайна, Walrus полностью отличается от Filecoin и Arweave. Исходная точка Filecoin заключается в создании децентрализованной и проверяемой системы хранения, ценой чего является холодное хранение данных; исходная точка Arweave заключается в создании онлайновой библиотеки Александра, которая может навсегда хранить данные, ценой чего является слишком мало сценариев; исходная точка Walrus заключается в оптимизации затрат на хранение горячих данных.
Магические модификации кодов исправления: инновации в стоимости или старая бутылка с новым вином?
В отношении проектирования стоимости хранения Walrus считает, что затраты на хранение Filecoin и Arweave являются неоправданными, поскольку оба используют архитектуру полной репликации, основное преимущество которой заключается в том, что каждый узел имеет полную копию, что обеспечивает высокую степень отказоустойчивости и независимость между узлами. Эта архитектура позволяет гарантировать, что даже если часть узлов отключена, сеть все равно обладает доступностью данных. Тем не менее, это также означает, что системе требуется избыточность нескольких копий для поддержания устойчивости, что, в свою очередь, увеличивает стоимость хранения. Особенно в дизайне Arweave механизм консенсуса сам по себе поощряет избыточное хранение узлов для повышения безопасности данных. В отличие от этого, Filecoin более гибок в контроле затрат, но это влечет за собой более высокий риск потери данных для некоторых низкозатратных хранилищ. Walrus пытается найти баланс между двумя подходами, его механизм контролирует затраты на репликацию и одновременно увеличивает доступность за счет структурированной избыточности, тем самым устанавливая новый компромисс между доступностью данных и эффективностью затрат.
Технология Redstuff, разработанная Walrus, является ключевой для снижения избыточности узлов, она основана на кодировании Рида-Соломона ( RS ). Кодирование RS - это очень традиционный алгоритм кодирования с исправлением ошибок, который позволяет удваивать набор данных за счет добавления избыточных фрагментов ( erasure code ), что может быть использовано для восстановления оригинальных данных. От CD-ROM до спутниковой связи и до QR-кодов, оно часто используется в повседневной жизни.
Коды исправления ошибок позволяют пользователям получить блок, например, размером 1 МБ, а затем "увеличить" его до 2 МБ, где дополнительные 1 МБ представляют собой специальные данные, называемые кодами исправления ошибок. Если любой байт в блоке будет потерян, пользователи могут легко восстановить эти байты с помощью кода. Даже если потерян целый блок размером до 1 МБ, вы все равно можете восстановить весь блок. Та же технология позволяет компьютерам считывать все данные с CD-ROM, даже если он поврежден.
В настоящее время наиболее распространены коды Рида-Соломона (RS-коды). Способ реализации заключается в том, чтобы начать с k информационных блоков, построить соответствующий многочлен и оценить его в различных координатах x, чтобы получить кодированные блоки. Используя коды RS, вероятность случайной выборки потери больших объемов данных очень мала.
Пример: разделите файл на 6 блоков данных и 4 контрольных блока, всего 10 частей. Достаточно сохранить любые 6 частей, чтобы полностью восстановить исходные данные.
Преимущества: высокая отказоустойчивость, широко используется в CD/DVD, RAID( с защитой от сбоев, а также в облачных системах хранения ), таких как Azure Storage, Facebook F4(.
Недостатки: сложность вычислений при декодировании, высокие затраты; не подходит для сценариев с частыми изменениями данных. Поэтому обычно используется для восстановления и распределения данных в централизованных средах вне цепи.
В рамках Децентрализация, Storj и Sia адаптировали традиционное RS-кодирование для удовлетворения фактических потребностей распределенной сети. Walrus также на этой основе предложил свой вариант - алгоритм кодирования RedStuff, чтобы реализовать более низкие затраты и более гибкий механизм избыточного хранения.
Какова основная особенность Redstuff? Улучшив алгоритм кодирования с коррекцией ошибок, Walrus может быстро и надежно кодировать неструктурированные данные в более мелкие фрагменты, которые будут распределенно храниться в сети узлов хранения. Даже если потеряно до двух третей фрагментов, оригинальный блок данных можно быстро восстановить с использованием части фрагментов. Это становится возможным при поддержании коэффициента репликации всего от 4 до 5.
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
10 Лайков
Награда
10
6
Поделиться
комментарий
0/400
MetaverseVagrant
· 13ч назад
Действительно ли постоянное хранение имеет ценность?
Посмотреть ОригиналОтветить0
ApeDegen
· 07-31 13:00
Fil уже упал до нуля
Посмотреть ОригиналОтветить0
OfflineNewbie
· 07-31 12:56
Эх, когда-то случайно все в fil, рект ужасно.
Посмотреть ОригиналОтветить1
HodlVeteran
· 07-31 12:55
Снова новый круг неудачников, я уже 18 лет страдаю из-за fil и все еще не могу оправиться.
Посмотреть ОригиналОтветить0
PumpDoctrine
· 07-31 12:53
Горячие данные — это в конечном итоге просто рекламный трюк.
Децентрализация хранения данных: путь прорыва от токена FIL до горячих данных Walrus
Эволюция децентрализованного хранения: от идеи к реальности
Хранение когда-то было одной из популярных ниш в индустрии блокчейна. Filecoin, как ведущий проект предыдущего бычьего рынка, на какое-то время имел рыночную капитализацию более 10 миллиардов долларов. Arweave с акцентом на постоянное хранение достигла максимальной капитализации в 3,5 миллиарда долларов. Тем не менее, с раскрытием ограничений хранения холодных данных необходимость в постоянном хранении подверглась сомнению, и перспектива Децентрализация хранения также была под вопросом.
Появление Walrus вдохнуло новую жизнь в давно затихшую область хранения данных. Теперь Aptos совместно с Jump Crypto запускают Shelby, целью которого является поднятие Децентрализация хранения на новый уровень в области горячих данных. Так сможет ли Децентрализация хранения вернуться и предложить решения для широкого спектра приложений? Или это всего лишь еще один виток спекуляций? В данной статье мы рассмотрим развитие четырех проектов: Filecoin, Arweave, Walrus и Shelby, чтобы проанализировать изменение нарратива Децентрализации хранения и обсудить перспективы его распространения в будущем.
Filecoin: имя хранения, суть майнинга
Filecoin является одним из ранних криптовалютных проектов, его направление развития естественным образом связано с Децентрализацией. Это общая черта ранних крипто-проектов - искать значение Децентрализации в различных традиционных областях. Filecoin не является исключением, он связывает хранение с Децентрализацией, тем самым естественно указывая на недостатки централизованного хранения данных: предположение доверия к централизованным поставщикам услуг хранения. Таким образом, цель Filecoin заключается в том, чтобы перейти от централизованного хранения к Децентрализованному. Однако некоторые аспекты, жертвуемые ради достижения Децентрализации, впоследствии стали болезненными точками, которые проекты, такие как Arweave или Walrus, пытаются решить. Чтобы понять, почему Filecoin по сути является лишь майнинг-монетой, необходимо понять объективные ограничения его базовой технологии IPFS, которая не подходит для обработки горячих данных.
IPFS:Децентрализация архитектура, но ограничена узким местом передачи
IPFS( Межпланетная файловая система) появилась около 2015 года с целью изменить традиционный протокол HTTP через адресацию по содержимому. Главный недостаток IPFS заключается в крайне медленной скорости получения. В эпоху, когда традиционные поставщики данных могут достигать отклика в миллисекундах, для получения файла через IPFS всё ещё требуется десятки секунд, что затрудняет его распространение в практическом применении и объясняет, почему, кроме немногих блокчейн-проектов, он редко используется в традиционной отрасли.
Основной P2P протокол IPFS в первую очередь подходит для "холодных данных", то есть для статического контента, который не часто меняется, например, видео, изображения и документы. Однако при работе с горячими данными, такими как динамические веб-страницы, онлайн-игры или приложения искусственного интеллекта, P2P протокол не имеет явных преимуществ по сравнению с традиционными CDN.
Хотя IPFS сам по себе не является блокчейном, его концепция дизайна, основанная на направленном ациклическом графе (DAG), значительно соответствует многим публичным блокчейнам и протоколам Web3, что делает его естественным выбором в качестве основы для построения блокчейна. Поэтому, даже если у него нет практической ценности, как базовый каркас для блокчейн-нарратива он уже достаточно хорош, ранним криптопроектам нужен был лишь работоспособный каркас для реализации грандиозных идей, но когда Filecoin развился до определенной стадии, ограничения, которые привнес IPFS, начали мешать его прогрессу.
Логика майнинговых монет под оболочкой хранения
Дизайн IPFS изначально был направлен на то, чтобы пользователи могли не только хранить данные, но и быть частью сети хранения. Однако без экономических стимулов пользователям сложно добровольно использовать эту систему, не говоря уже о том, чтобы стать активными узлами хранения. Это означает, что большинство пользователей просто будут хранить файлы в IPFS, но не будут вносить свой вклад в хранилище или хранить файлы других. Именно в таком контексте и появился Filecoin.
В экономической модели токенов Filecoin основными являются три роли: пользователи отвечают за оплату стоимости хранения данных; майнеры хранилища получают токеновые вознаграждения за хранение данных пользователей; майнеры извлечения предоставляют данные по запросу пользователей и получают вознаграждение.
Эта модель имеет потенциальное пространство для злоупотреблений. Хранители данных могут заполнять мусорными данными после предоставления места для хранения, чтобы получить вознаграждение. Поскольку эти мусорные данные не будут запрашиваться, их потеря не приведет к активации механизма наказания хранителей данных. Это позволяет хранителям данных удалять мусорные данные и повторять этот процесс. Консенсус на основе доказательства копии в Filecoin может гарантировать, что данные пользователя не были удалены без ведома, но не может предотвратить заполнение мусорными данными.
Работа Filecoin в значительной степени зависит от постоянных вложений майнеров в токеномику, а не от реального спроса конечных пользователей на распределенное хранилище. Несмотря на то, что проект продолжает итерации, на текущем этапе построение экосистемы Filecoin больше соответствует "логике майнинг-криптовалюты", а не определению "приложение-ориентированного" хранилища.
Arweave: Успех в долгосрочной перспективе, провал в долгосрочной перспективе
Если говорить о том, что целью дизайна Filecoin является создание стимулирующей, доказуемой Децентрализации "облака данных", то Arweave идет в противоположном направлении в хранении: предоставляя возможность постоянного хранения данных. Arweave не стремится создать распределенную вычислительную платформу, вся его система строится вокруг одной ключевой гипотезы - важные данные должны храниться один раз и навсегда оставаться в сети. Эта крайняя долгосрочность делает Arweave совершенно отличным от Filecoin по механизму, модели стимулов, требованиям к оборудованию и нарративу.
Arweave использует биткойн в качестве объекта изучения, пытаясь постоянно оптимизировать свою сеть постоянного хранения в долгосрочной перспективе. Arweave не заботится о маркетинге, не заботится о конкурентах и тенденциях рынка. Он просто продолжает двигаться вперед по пути итерации сетевой архитектуры, даже если никто не интересуется, потому что это суть команды разработчиков Arweave: долгосрочность. Благодаря долгосрочности Arweave пользовался огромной популярностью в прошлом бычьем рынке; также из-за долгосрочности, даже если он упадет на дно, Arweave может пережить несколько циклов бычьего и медвежьего рынков. Но будет ли у Arweave место в будущем децентрализованном хранении? Существенная ценность постоянного хранения может быть доказана только временем.
С момента выхода версии 1.5 основной сети Arweave и до недавней версии 2.9, несмотря на потерю интереса со стороны рынка, проект продолжает стремиться к тому, чтобы более широкий круг майнеров мог участвовать в сети с минимальными затратами, а также поощрять майнеров максимально хранить данные, что способствует постоянному повышению стабильности всей сети. Arweave, осознавая, что он не соответствует рыночным предпочтениям, выбирает консервативный путь, не поддерживая майнерские сообщества, и экосистема полностью остановилась, обновляя основную сеть с минимальными затратами, при этом постоянно снижая порог аппаратных требований без ущерба для безопасности сети.
Обзор пути обновления 1.5-2.9
Версия Arweave 1.5 выявила уязвимость, позволяющую майнерам полагаться на стековые GPU вместо реального хранения для оптимизации вероятности создания блока. Чтобы сдержать эту тенденцию, версия 1.7 вводит алгоритм RandomX, ограничивающий использование специализированных вычислительных мощностей и требующий участия универсальных ЦП в майнинге, что ослабляет централизацию вычислительных мощностей.
В версии 2.0 Arweave использует SPoA, преобразуя доказательства данных в компактный путь структуры дерева Меркла и вводя транзакции формата 2 для снижения нагрузки на синхронизацию. Эта архитектура снижает давление на пропускную способность сети, значительно увеличивая способность узлов к сотрудничеству. Однако некоторые майнеры все еще могут избежать ответственности за реальное владение данными, используя стратегию централизованных высокоскоростных хранилищ.
Для коррекции этого уклона в версии 2.4 была введена механика SPoRA, которая включает глобальные индексы и медленный хэш для случайного доступа, заставляя майнеров действительно владеть блоками данных для участия в эффективном создании блоков, что на уровне механизма ослабляет эффект накопления вычислительной мощности. В результате майнеры начали уделять внимание скорости доступа к хранилищу, что способствовало применению SSD и высокоскоростных устройств чтения и записи. В версии 2.6 была введена хэш-цепочка для контроля темпа создания блоков, что сбалансировало предельную полезность высокопроизводительных устройств и предоставило справедливое пространство для участия малым и средним майнерам.
В последующих версиях будет усилена способность сетевого сотрудничества и разнообразие хранения: 2.7 добавляет механизм совместной добычи и пула, увеличивая конкурентоспособность небольших майнеров; 2.8 представляет механизм композитной упаковки, позволяя гибкое участие больших объемов медленных устройств; 2.9 вводит новый процесс упаковки в формате replica_2_9, значительно повышая эффективность и снижая зависимость от вычислений, завершая замкнутый цикл модели добычи, ориентированной на данные.
В целом, путь обновления Arweave четко демонстрирует его долгосрочную стратегию, ориентированную на хранение: одновременно противодействуя тенденции концентрации вычислительной мощности, он продолжает снижать порог участия, обеспечивая возможность долгосрочной работы протокола.
Walrus: Объятие горячих данных — это всего лишь хайп или скрытая мудрость?
С точки зрения дизайна, Walrus полностью отличается от Filecoin и Arweave. Исходная точка Filecoin заключается в создании децентрализованной и проверяемой системы хранения, ценой чего является холодное хранение данных; исходная точка Arweave заключается в создании онлайновой библиотеки Александра, которая может навсегда хранить данные, ценой чего является слишком мало сценариев; исходная точка Walrus заключается в оптимизации затрат на хранение горячих данных.
Магические модификации кодов исправления: инновации в стоимости или старая бутылка с новым вином?
В отношении проектирования стоимости хранения Walrus считает, что затраты на хранение Filecoin и Arweave являются неоправданными, поскольку оба используют архитектуру полной репликации, основное преимущество которой заключается в том, что каждый узел имеет полную копию, что обеспечивает высокую степень отказоустойчивости и независимость между узлами. Эта архитектура позволяет гарантировать, что даже если часть узлов отключена, сеть все равно обладает доступностью данных. Тем не менее, это также означает, что системе требуется избыточность нескольких копий для поддержания устойчивости, что, в свою очередь, увеличивает стоимость хранения. Особенно в дизайне Arweave механизм консенсуса сам по себе поощряет избыточное хранение узлов для повышения безопасности данных. В отличие от этого, Filecoin более гибок в контроле затрат, но это влечет за собой более высокий риск потери данных для некоторых низкозатратных хранилищ. Walrus пытается найти баланс между двумя подходами, его механизм контролирует затраты на репликацию и одновременно увеличивает доступность за счет структурированной избыточности, тем самым устанавливая новый компромисс между доступностью данных и эффективностью затрат.
Технология Redstuff, разработанная Walrus, является ключевой для снижения избыточности узлов, она основана на кодировании Рида-Соломона ( RS ). Кодирование RS - это очень традиционный алгоритм кодирования с исправлением ошибок, который позволяет удваивать набор данных за счет добавления избыточных фрагментов ( erasure code ), что может быть использовано для восстановления оригинальных данных. От CD-ROM до спутниковой связи и до QR-кодов, оно часто используется в повседневной жизни.
Коды исправления ошибок позволяют пользователям получить блок, например, размером 1 МБ, а затем "увеличить" его до 2 МБ, где дополнительные 1 МБ представляют собой специальные данные, называемые кодами исправления ошибок. Если любой байт в блоке будет потерян, пользователи могут легко восстановить эти байты с помощью кода. Даже если потерян целый блок размером до 1 МБ, вы все равно можете восстановить весь блок. Та же технология позволяет компьютерам считывать все данные с CD-ROM, даже если он поврежден.
В настоящее время наиболее распространены коды Рида-Соломона (RS-коды). Способ реализации заключается в том, чтобы начать с k информационных блоков, построить соответствующий многочлен и оценить его в различных координатах x, чтобы получить кодированные блоки. Используя коды RS, вероятность случайной выборки потери больших объемов данных очень мала.
Пример: разделите файл на 6 блоков данных и 4 контрольных блока, всего 10 частей. Достаточно сохранить любые 6 частей, чтобы полностью восстановить исходные данные.
Преимущества: высокая отказоустойчивость, широко используется в CD/DVD, RAID( с защитой от сбоев, а также в облачных системах хранения ), таких как Azure Storage, Facebook F4(.
Недостатки: сложность вычислений при декодировании, высокие затраты; не подходит для сценариев с частыми изменениями данных. Поэтому обычно используется для восстановления и распределения данных в централизованных средах вне цепи.
В рамках Децентрализация, Storj и Sia адаптировали традиционное RS-кодирование для удовлетворения фактических потребностей распределенной сети. Walrus также на этой основе предложил свой вариант - алгоритм кодирования RedStuff, чтобы реализовать более низкие затраты и более гибкий механизм избыточного хранения.
Какова основная особенность Redstuff? Улучшив алгоритм кодирования с коррекцией ошибок, Walrus может быстро и надежно кодировать неструктурированные данные в более мелкие фрагменты, которые будут распределенно храниться в сети узлов хранения. Даже если потеряно до двух третей фрагментов, оригинальный блок данных можно быстро восстановить с использованием части фрагментов. Это становится возможным при поддержании коэффициента репликации всего от 4 до 5.
Таким образом, определим Walrus как окружение