Прото-данкшардинг: что такое обработка исходных данных и как она работает

После завершения слияния и обновления Шанхай Эфириум успешно перешел от механизма подтверждения работы к механизму подтверждения доли. Следующим крупным проектом в дорожной карте Эфириума является EIP-4844, также известный как "Обработка сырых данных". Это изменение кода направлено на улучшение масштабируемости решений по расширению второго уровня на Эфириуме. EIP-4844 назван в честь核心开发者 Эфириума "Protolambda" и Данкрада Файста, вводя новый тип транзакции, называемый blob, который увеличивает требования к данным и хранению блоков Эфириума и создает новый рынок сборов, отделяя blob от обычных транзакций по цене.

Решения по расширению второго уровня полагаются на блокчейн первого уровня (, такой как Эфириум ), для обеспечения доступности данных ( DA ), что означает возможность широко распространять и временно хранить партии данных о транзакциях. Обычно решения второго уровня на основе смарт-контрактов зависят от DA Эфириума, а также полагаются на Эфириум для расчетов по транзакциям ( и верификации ). Эти решения второго уровня специально считывают данные из слоев DA, таких как Эфириум, и выполняют эффективные транзакции и код смарт-контрактов. Решения второго уровня, построенные на Эфириуме, полагаются на данные о партиях транзакций, содержащиеся в блоках Эфириума, для обеспечения подлинности транзакций. Сортировщик обрабатывает и сжимает транзакции пользователей экономически эффективным образом, чтобы представить их участникам слоя DA.

Обычно стоимость публикации больших объемов данных в Ethereum высока, отчасти потому, что сеть навсегда хранит данные как часть истории транзакций в поле, известном как "CALLDATA". С помощью EIP-4844 каждый блок создаст дополнительное пространство данных объемом 512 кБ или 768 кБ для решений второго уровня. Основные разработчики Ethereum взвешивают, сколько именно дополнительного пространства следует создать для транзакций blob. Важно отметить, что данные, опубликованные в этом пространстве, будут храниться примерно три недели. Из-за кратковременности данных, проверяемых через транзакции blob, а также независимого рынка цен на blob, изолированного от других типов транзакций, теоретически стоимость публикации данных в Ethereum для решений второго уровня значительно снизится. Со временем разработчики намерены ввести технологии выборки данных, чтобы данные blob не нужно было полностью загружать для проверки на полных узлах Ethereum, что еще больше снизит затраты второго уровня. Прото-данкшардинг является предшественником и "прототипом" полного данкшардинга, который позволит узлам Ethereum загружать фрагменты данных blob для определения доступности полного blob.

Этот отчет подробно рассматривает, как работает EIP-4844, ограничения обработки исходных данных, эволюцию EIP-4844 в полное danksharding, а также включает некоторые соображения о прямых преимуществах изменений кода для конечных пользователей и разработчиков децентрализованных приложений (dapp), когда они будут реализованы осенью 2023 года по плану. Учитывая, что полный danksharding сосредоточен на поддержке экосистемы Layer 2 и модульном масштабировании Ethereum, изменения кода, вводимые в следующем обновлении Ethereum, станут важной испытательной площадкой для применения теории модульной блокчейн на масштабах одного из крупнейших публичных блокчейнов в мире.

Фон

EIP-4844 считается обновлением масштабируемости Ethereum. Однако следует отметить, что изменения в коде не привели к существенному увеличению или внедрению улучшений в торговых возможностях самого Ethereum. Proto-danksharding снизил стоимость публикации большого объема данных в Ethereum, тем самым снизив операционные расходы решений второго уровня. EIP-4844 считается улучшением масштабируемости Ethereum, поскольку он делает сети второго уровня, построенные на Ethereum, более экономически эффективными, но изменения в коде не улучшили масштабируемость Ethereum как универсальной блокчейна для выполнения транзакций и кода смарт-контрактов.

За последние четыре года активность торговых операций в решениях Layer 2 для Ethereum продолжала расти. L2Beat.com оценивает, что общий объем сделок в каждом из сетей Layer 2 составляет (TPS), что в 3,8 раза превышает среднее количество TPS Ethereum в день.

Согласно данным, предоставленным платформой данных Dune Analytics, решения Layer 2 экономят более 99% затрат на газ для конечных пользователей и разработчиков dapp по сравнению с затратами на развертывание кода и выполнение транзакций напрямую в Ethereum.

По состоянию на 13 июня 2023 года, тенденция стоимости совершения транзакций на двух самых популярных решениях второго уровня Ethereum составляет около 0,03–0,05 долларов США. Однако в условиях высокой активности в сети и перегруженности, эти расходы иногда могут подниматься выше 1 доллара.

Цель EIP-4844 заключается в сокращении затрат Layer 2 путем введения нового типа транзакции, а именно двоичных больших объектов, или blob. Ниже представлено пошаговое описание жизненного цикла blob-транзакций, определенных в EIP-4844:

EIP-4844 не влияет на то, как обычные транзакции, отправленные в мемпул Ethereum, включаются в блоки, и не влияет на рынок сборов, определяющий цену на блок-пространство Ethereum, но EIP-4844 действительно увеличивает требования к хранению блоков Ethereum. Дополнительное пространство данных предназначено для присоединения blob-транзакций к блокам. Blob подобен второстепенному автомобилю, который можно прикрепить к блокам Ethereum, не влияя на или не занимая существующее блок-пространство для обработки обычных транзакций. Пространство blob-блоков будет аукционироваться в соответствии со своим собственным рынком сборов, по аналогии с дизайном рынка сборов EIP-1559. Изначально blob-транзакции будут практически без затрат. После этого, за каждое подтверждение блока, если более половины пространства blob-блоков ( минимум 256kB ) используется, стоимость blob-транзакций увеличится на 12,5%. Для каждого блока, в котором пространство blob-блоков не было полностью использовано, то есть если пространство blob-блоков заполнено менее чем на 50%, стоимость blob будет снижена на 12,5%.

Торговля Blob не будет храниться на Ethereum бесконечно, а будет храниться на уровне консенсуса Ethereum (CL), то есть на Beacon Chain, и будет удалена с узлов CL через три недели. Proto-danksharding позволит каждому блоку иметь до четырех blob, каждый из которых может содержать до 128 кБ дополнительных данных. Максимальный лимит пространства blob в 512 кБ на блок может измениться в зависимости от текущего тестирования EIP-4844. Разработчики активно обсуждают возможность увеличения этого лимита с 4 blob до 6. Каждый blob представляет собой возможность для одного сортировщика Layer 2 подтвердить пакет транзакций на Ethereum. Каждый день на Ethereum создается около 7094 блоков, и после EIP-4484, при условии ограничения в 4 blob на блок, можно обработать максимум 28376 blob в день. ( Это теоретический максимум, который на практике может никогда не быть достигнут из-за динамического изменения цен на blob. Непрерывная обработка максимального количества blob в каждом блоке очень дорого для сортировщика ).

За последние шесть месяцев сортировщик, работающий на одном из решений Layer 2, по объему торговой активности стал вторым по популярности решением Ethereum Layer 2, ежедневно отправляя на Ethereum около 3126 пакетных транзакций.

Другие решения Layer 2 подтверждают объемы транзакций, которые примерно вдвое превышают этот, и также полагаются на сортировщик для передачи данных в Ethereum через CALLDATA для завершения транзакций. Существуют и другие примеры популярных решений Layer 2 на Ethereum. В одном из решений Layer 2 более 90% сборов приходятся на сборы CALLDATA Layer 1.

Введение специализированного пространства для хранения данных, каким бы малым оно ни было в начале, направлено на снижение затрат на использование Ethereum в качестве слоя DA для всех решений Layer 2, основанных на Ethereum. Консервативно говоря, разработчики Layer 2 оценивают, что с активацией EIP-4844, затраты Layer 2 могут сократиться на 100% до 900%. Однако эти оценки могут измениться в зависимости от увеличения использования и активности Layer 2 в месяцах перед и после активации обработки исходных данных.

Стоимость blob-транзакций, хотя в начале активации EIP-4844 может быть дешевле, чем у обычных транзакций, может быстро возрасти с увеличением числа решений Layer 2, основанных на Ethereum. Кроме того, хотя каждый blob предназначен для предоставления возможности одному сортировщику публиковать данные объемом до 128 кБ, сортировщики Layer 2 могут координировать свои действия, чтобы один blob содержал данные из нескольких решений Layer 2. Разработчики Ethereum осознают, что из-за ограниченного количества блоков и того факта, что один пакет транзакций может не полностью использовать все 128 кБ пространства данных каждого blob-транзакции, может возникнуть вторичный рынок для ценообразования на blob. Хотя предотвращение появления вторичного рынка вне цепи является приоритетом, а не внедрение более высокого уровня сложности протокола для предотвращения этой возможности, в настоящее время разработчики принимают "ожидающую и наблюдательную стратегию", вводя blob через EIP-4844 и планируя дальнейшую оптимизацию EIP-4844 в будущем.

Обработка исходных данных заложила основу для внедрения более современных технологий, чтобы дополнительно снизить стоимость blob без увеличения нагрузки на вычисления узлов. Полное данкшардинг, полное представление о blob заключается в увеличении максимального количества blob в каждом блоке с 4 до 64.

Полное Данкшардинг

Четыре blob увеличивают размер блока Ethereum на 512 кБ. Шесть blob дополнительно увеличивают размер блока Ethereum на 768 кБ. Как уже упоминалось, дополнительное пространство блока строго предназначено для blob-транзакций и не хранит данные так же, как обычное пространство блока. Полное видение EIP-4844 заключается в том, чтобы ввести до 64 blob в Ethereum, не значительно увеличивая вычислительную нагрузку на узлы валидации блоков. Для достижения полного danksharding Ethereum необходимо реализовать две технологии: выборка доступности данных (DAS) и кодирование с удалением.

Образцы доступности данных ( DAS )

В контексте валидации транзакций Layer 2 цель DAS состоит в том, чтобы обеспечить, чтобы все фрагменты данных, сгруппированные сортировщиком, были опубликованы в цепочке. Полные узлы выбираются случайным образом, скачивают блок данных из блоба и генерируют доказательства доступности данных. Чем больше раз полный узел проводит выборку данных, тем выше вероятность того, что все данные были предоставлены сортировщиком без удержания важной информации. Процесс выборки данных для узла требует меньше вычислительных ресурсов, чем загрузка всего блоба, но теоретически дает такие же гарантии доступности данных. Как и в оригинальной обработке данных, выборка блоб-данных в условиях полного данкшардирования обеспечит, что транзакции от сортировщика были проверены и опубликованы в цепочке для оценки любыми пользователями или заинтересованными сторонами сети. Затем у пользователей и заинтересованных сторон есть время для просмотра этих транзакций, чтобы подтвердить, что они окончательно завершены на уровене доступности данных, таком как Ethereum, и на основе предыдущей партии транзакций сформировать новые пакеты.

С помощью DAS разработчики Ethereum уверены, что смогут увеличить количество и объем Blob, публикуемых в Ethereum, не увеличивая нагрузку на вычисления узлов. Кроме того, разработчики планируют в будущих обновлениях дополнительно снизить вычислительную нагрузку на узлы, внедрив такие предложения, как историческое истечение. По словам исследователя Ethereum Данкрада Фейста, со временем Ethereum станет "общественным рекламным щитом, а не архивной системой", возложив ответственность за хранение полных копий истории транзакций на сетевых заинтересованных сторон, которые часто используют эти данные, таких как решения уровня 2 и компании по блокчейн-инфраструктуре. Хотя EIP-4844 вводит Blob, это ранний пример того, как все транзакции могут однажды стать хранением в Ethereum.

Стереть кодировку

Технология стирания кодов усилила выбор данных.