Еволюція технології індексації даних Блокчейн: від Ноди до AI-орієнтованих послуг по всьому ланцюгу
1. Вступ
З моменту появи першої партії блокчейн-додатків у 2017 році до сьогодні, коли різноманітні фінансові, ігрові та соціальні додатки на основі різних блокчейнів процвітають, чи замислювалися ми над джерелами даних, які використовуються в цих додатках під час взаємодії?
У 2024 році штучний інтелект і Web3 стануть гарячими темами. У сфері ШІ дані є його основою. Як рослинам потрібні сонце та вода, так і системи ШІ залежать від величезних обсягів даних для постійного навчання та еволюції. Без даних навіть найскладніші алгоритми ШІ навряд чи зможуть проявити свою справжню інтелектуальність та ефективність.
Ця стаття глибоко досліджує розвиток доступності даних Блокчейн, аналізує еволюцію індексації даних в галузі та порівнює старі індексні протоколи з новими сервісними протоколами даних за їхніми технічними характеристиками.
2. Еволюція індексації даних: від нод Блокчейн до повноцінної бази даних
2.1 Джерело даних: Блокчейн Нода
Блокчейн є децентралізованою книгою обліку, Нода є основою всієї мережі, що відповідає за запис, зберігання та поширення всіх даних про транзакції. Кожна Нода має повну копію даних Блокчейн, підтримуючи децентралізовану природу мережі. Однак звичайним користувачам створити та підтримувати Ноди не так просто, оскільки це вимагає професійних знань, а також високих витрат на апаратуру та пропускну здатність. Запитувальні можливості звичайних Нод також обмежені, що ускладнює задоволення потреб розробників. Тому користувачі часто покладаються на послуги третіх сторін.
Постачальники RPC-нод з'явилися на світ, відповідаючи за управління нодами та надання даних через RPC-інтерфейси. Це дозволяє користувачам отримувати доступ до даних блокчейну без необхідності створювати власні ноди. Публічні RPC-інтерфейси безкоштовні, але мають обмеження швидкості, приватні RPC-інтерфейси мають кращу продуктивність, але їх ефективність все ще не є високою. Тим не менш, стандартизовані API-інтерфейси постачальників нод знижують бар'єри для доступу користувачів до даних на ланцюгу, закладаючи основу для подальшого аналізу даних та застосувань.
2.2 Аналіз даних: від сирих даних до корисних даних
Блокчейн Ноди надають сирі дані, які зазвичай проходять через шифрування та кодування, що забезпечує цілісність і безпеку, але також ускладнює їх аналіз. Для звичайних користувачів і розробників безпосередня обробка цих даних вимагає значних технічних знань та обчислювальних ресурсів.
Процес解析 даних стає надзвичайно важливим. Перетворюючи складні сирі дані в легко зрозумілий та зручний для використання формат, користувачі можуть більш інтуїтивно використовувати ці дані. Якість解析 безпосередньо впливає на ефективність та результативність застосування даних Блокчейн, є ключовим етапом у всьому процесі індексації даних.
2.3 Еволюція індексаторів даних
Зі збільшенням обсягу даних Блокчейн зростає потреба в даних індексаторів. Індекси відіграють важливу роль в організації даних на ланцюгу та їх відправці до бази даних для запитів. Вони індексують дані Блокчейн і надають інтерфейс запитів, подібний до SQL, як-от GraphQL API(, що робить дані доступними в будь-який час. Цей єдиний інтерфейс запитів значно спрощує процес отримання потрібної інформації для розробників.
Різні типи індексаторів оптимізують отримання даних різними способами:
Повний індексатор нод: безпосередньо витягує дані з повного Блокчейн-ноду, забезпечуючи повноту та точність, але вимагає великої кількості пам'яті та обчислювальної потужності.
Легкий індексатор: покладається на повні ноди для отримання конкретних даних на вимогу, зменшуючи вимоги до зберігання, але може збільшити час запиту.
Спеціалізований індексатор: для оптимізації пошуку певних типів даних або Блокчейн, таких як дані NFT або DeFi-транзакції.
Агент агрегування: витягує дані з кількох Блокчейн та джерел, включаючи інформацію поза ланцюгом, надає єдиний інтерфейс запиту, підходить для багатоланцюгових застосувань.
Наразі, архівні ноди Ethereum займають від 3 до 13,5 ТБ місця для зберігання в різних клієнтах. Перед обличчям такої великої кількості даних, основні протоколи індексації підтримують не лише мультичне індексування, але й розробили рамки для аналізу даних, адаптовані до різних вимог застосувань.
У порівнянні з традиційними RPC кінцевими точками, індексатори значно підвищують ефективність індексації та запитів даних. Вони підтримують складні запити, фільтрацію даних та аналіз після витягання. Деякі індексатори також підтримують агрегацію даних з кількох блокчейнів, що уникає проблеми, коли багатоланцюгові додатки потребують розгортання кількох API. Завдяки розподіленій роботі, індексатори забезпечують більшу безпеку та продуктивність, зменшуючи ризики, пов'язані з централізованими постачальниками RPC.
![Читання, індексування до аналізу, короткий опис сектора індексації даних Web3])https://img-cdn.gateio.im/webp-social/moments-587ce87f6dbedee4acec7d939fed6980.webp(
) 2.4 Вся База Даних: Вирівнювання за пріоритетом потоку
Зі зростанням складності вимог до додатків первинні індексатори даних стають недостатніми для задоволення все більш різноманітних запитів, таких як пошук, міжланцюговий доступ або відображення даних поза ланцюгом. У сучасній архітектурі даних підхід "потік на першому місці" став рішенням для обмежень традиційної пакетної обробки, забезпечуючи обробку та аналіз даних в реальному часі.
Постачальники послуг даних Блокчейн також розвиваються в напрямку створення потоків даних. Традиційні постачальники послуг індексації випустили продукти в реальному часі для потоків даних Блокчейн, такі як Substreams від The Graph та Mirror від Goldsky. Є також реальні дані, що базуються на Блокчейн, такі як Chainbase та SubSquid, які створюють потоки даних.
Ці послуги спрямовані на задоволення потреб у реальному часі для аналізу Блокчейн-транзакцій та надання більш всебічних можливостей для запитів. Переглядаючи управління даними на ланцюзі з точки зору сучасних даних, ми можемо уявити майбутнє з високопродуктивними наборами даних, адаптованими до будь-яких бізнес-випадків.
3. AI + База даних: Порівняння The Graph, Chainbase та Space and Time
3.1 Граф
Мережа The Graph забезпечує індексацію та запит даних з кількох блокчейнів через децентралізовані ноди. Її основні продуктові моделі включають ринок виконання запитів даних та ринок кешування індексу даних, що відповідає запитам продуктів користувачів.
Дочерні графи### є основною структурою даних мережі The Graph, що визначає, як витягувати та перетворювати дані з Блокчейн у запитуваний формат. Мережа складається з чотирьох ролей: індексаторів, кураторів, делегаторів та розробників, які спільно підтримують потреби даних веб3 додатків.
Продукти The Graph також швидко розвиваються в умовах хвилі ШІ. Інструменти AutoAgora, Allocation Optimizer та AgentC, розроблені Semiotic Labs, відповідно оптимізують цінові стратегії, розподіл ресурсів та користувацький досвід, підвищуючи інтелектуальність системи та зручність для користувачів.
( 3.2 Ланцюгова база
Chainbase є мережею даних усіх Блокчейн, що інтегрує всі дані Блокчейн в одну платформу. Його особливості включають:
Реальний дата-озеро: надає спеціалізоване дата-озеро для потоків даних Блокчейн.
Подвійна архітектура: побудована на виконувальному шарі на основі Eigenlayer AVS, що формує паралельну архітектуру з алгоритмом консенсусу CometBFT.
Інноваційний стандарт формату даних: впровадження стандарту формату даних "manuscripts".
Модель криптосвіту: поєднуючи технології ШІ, створити модель, здатну розуміти та прогнозувати блокчейн-транзакції.
AI-модель Theia від Chainbase базується на моделі DORA від NVIDIA, аналізує зовнішні дані на Блокчейні та просторово-часову активність, надаючи користувачам інтелектуальні дані послуги.
![Читання, індексація до аналізу, короткий опис сектора індексації даних Web3])https://img-cdn.gateio.im/webp-social/moments-b343cab5112c1a3d52f4e72122ae0df2.webp###
( 3.3 Простір і час
Space and Time )SxT### прагне створити перевіряємий обчислювальний рівень, розширюючи нульові знання на централізованих сховищах даних. Його основна технологія Proof of SQL забезпечує захист від підробок і перевіряє запити SQL, забезпечуючи ефективне рішення для верифікації даних.
SxT співпрацює з лабораторією інновацій штучного інтелекту Microsoft для розробки інструментів генеративного ШІ, що дозволяють користувачам обробляти дані блокчейну за допомогою обробки природної мови. У Space and Time Studio ШІ може перетворювати природну мову на SQL і виконувати запити.
Висновок та перспективи
Блокчейн даних індексації технологій з початкових нод даних, через розвиток аналізу даних та індексаторів, врешті-решт еволюціонувала до AI-спроможних послуг даних на всьому ланцюгу, пройшовши поступовий процес вдосконалення. Ці технологічні досягнення не лише підвищили ефективність та точність доступу до даних, але й принесли інтелектуальний досвід.
В майбутньому, з розвитком нових технологій, таких як AI та нульові докази, послуги даних Блокчейн стануть ще більш інтелектуальними та безпечними. Як інфраструктура, послуги даних Блокчейн продовжать надавати підтримку інноваціям у промисловості.
Переглянути оригінал
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
14 лайків
Нагородити
14
5
Поділіться
Прокоментувати
0/400
ChainSpy
· 6год тому
Просто проіндексуйте дані всієї мережі і все буде гаразд~
Переглянути оригіналвідповісти на0
ProbablyNothing
· 16год тому
Спробуй це.
Переглянути оригіналвідповісти на0
FUD_Whisperer
· 16год тому
бик а індексатор йде на інтелектуалізацію
Переглянути оригіналвідповісти на0
BearMarketNoodler
· 16год тому
Нічого нового. Цю пастку вже використовували в 08 році.
Переглянути оригіналвідповісти на0
HorizonHunter
· 17год тому
Штучний інтелект потужний, але не може просто займатися технологіями.
Історія еволюції індексації даних Блокчейн: від Нод до AI-управліного повного сервісу
Еволюція технології індексації даних Блокчейн: від Ноди до AI-орієнтованих послуг по всьому ланцюгу
1. Вступ
З моменту появи першої партії блокчейн-додатків у 2017 році до сьогодні, коли різноманітні фінансові, ігрові та соціальні додатки на основі різних блокчейнів процвітають, чи замислювалися ми над джерелами даних, які використовуються в цих додатках під час взаємодії?
У 2024 році штучний інтелект і Web3 стануть гарячими темами. У сфері ШІ дані є його основою. Як рослинам потрібні сонце та вода, так і системи ШІ залежать від величезних обсягів даних для постійного навчання та еволюції. Без даних навіть найскладніші алгоритми ШІ навряд чи зможуть проявити свою справжню інтелектуальність та ефективність.
Ця стаття глибоко досліджує розвиток доступності даних Блокчейн, аналізує еволюцію індексації даних в галузі та порівнює старі індексні протоколи з новими сервісними протоколами даних за їхніми технічними характеристиками.
2. Еволюція індексації даних: від нод Блокчейн до повноцінної бази даних
2.1 Джерело даних: Блокчейн Нода
Блокчейн є децентралізованою книгою обліку, Нода є основою всієї мережі, що відповідає за запис, зберігання та поширення всіх даних про транзакції. Кожна Нода має повну копію даних Блокчейн, підтримуючи децентралізовану природу мережі. Однак звичайним користувачам створити та підтримувати Ноди не так просто, оскільки це вимагає професійних знань, а також високих витрат на апаратуру та пропускну здатність. Запитувальні можливості звичайних Нод також обмежені, що ускладнює задоволення потреб розробників. Тому користувачі часто покладаються на послуги третіх сторін.
Постачальники RPC-нод з'явилися на світ, відповідаючи за управління нодами та надання даних через RPC-інтерфейси. Це дозволяє користувачам отримувати доступ до даних блокчейну без необхідності створювати власні ноди. Публічні RPC-інтерфейси безкоштовні, але мають обмеження швидкості, приватні RPC-інтерфейси мають кращу продуктивність, але їх ефективність все ще не є високою. Тим не менш, стандартизовані API-інтерфейси постачальників нод знижують бар'єри для доступу користувачів до даних на ланцюгу, закладаючи основу для подальшого аналізу даних та застосувань.
2.2 Аналіз даних: від сирих даних до корисних даних
Блокчейн Ноди надають сирі дані, які зазвичай проходять через шифрування та кодування, що забезпечує цілісність і безпеку, але також ускладнює їх аналіз. Для звичайних користувачів і розробників безпосередня обробка цих даних вимагає значних технічних знань та обчислювальних ресурсів.
Процес解析 даних стає надзвичайно важливим. Перетворюючи складні сирі дані в легко зрозумілий та зручний для використання формат, користувачі можуть більш інтуїтивно використовувати ці дані. Якість解析 безпосередньо впливає на ефективність та результативність застосування даних Блокчейн, є ключовим етапом у всьому процесі індексації даних.
2.3 Еволюція індексаторів даних
Зі збільшенням обсягу даних Блокчейн зростає потреба в даних індексаторів. Індекси відіграють важливу роль в організації даних на ланцюгу та їх відправці до бази даних для запитів. Вони індексують дані Блокчейн і надають інтерфейс запитів, подібний до SQL, як-от GraphQL API(, що робить дані доступними в будь-який час. Цей єдиний інтерфейс запитів значно спрощує процес отримання потрібної інформації для розробників.
Різні типи індексаторів оптимізують отримання даних різними способами:
Наразі, архівні ноди Ethereum займають від 3 до 13,5 ТБ місця для зберігання в різних клієнтах. Перед обличчям такої великої кількості даних, основні протоколи індексації підтримують не лише мультичне індексування, але й розробили рамки для аналізу даних, адаптовані до різних вимог застосувань.
У порівнянні з традиційними RPC кінцевими точками, індексатори значно підвищують ефективність індексації та запитів даних. Вони підтримують складні запити, фільтрацію даних та аналіз після витягання. Деякі індексатори також підтримують агрегацію даних з кількох блокчейнів, що уникає проблеми, коли багатоланцюгові додатки потребують розгортання кількох API. Завдяки розподіленій роботі, індексатори забезпечують більшу безпеку та продуктивність, зменшуючи ризики, пов'язані з централізованими постачальниками RPC.
![Читання, індексування до аналізу, короткий опис сектора індексації даних Web3])https://img-cdn.gateio.im/webp-social/moments-587ce87f6dbedee4acec7d939fed6980.webp(
) 2.4 Вся База Даних: Вирівнювання за пріоритетом потоку
Зі зростанням складності вимог до додатків первинні індексатори даних стають недостатніми для задоволення все більш різноманітних запитів, таких як пошук, міжланцюговий доступ або відображення даних поза ланцюгом. У сучасній архітектурі даних підхід "потік на першому місці" став рішенням для обмежень традиційної пакетної обробки, забезпечуючи обробку та аналіз даних в реальному часі.
Постачальники послуг даних Блокчейн також розвиваються в напрямку створення потоків даних. Традиційні постачальники послуг індексації випустили продукти в реальному часі для потоків даних Блокчейн, такі як Substreams від The Graph та Mirror від Goldsky. Є також реальні дані, що базуються на Блокчейн, такі як Chainbase та SubSquid, які створюють потоки даних.
Ці послуги спрямовані на задоволення потреб у реальному часі для аналізу Блокчейн-транзакцій та надання більш всебічних можливостей для запитів. Переглядаючи управління даними на ланцюзі з точки зору сучасних даних, ми можемо уявити майбутнє з високопродуктивними наборами даних, адаптованими до будь-яких бізнес-випадків.
3. AI + База даних: Порівняння The Graph, Chainbase та Space and Time
3.1 Граф
Мережа The Graph забезпечує індексацію та запит даних з кількох блокчейнів через децентралізовані ноди. Її основні продуктові моделі включають ринок виконання запитів даних та ринок кешування індексу даних, що відповідає запитам продуктів користувачів.
Дочерні графи### є основною структурою даних мережі The Graph, що визначає, як витягувати та перетворювати дані з Блокчейн у запитуваний формат. Мережа складається з чотирьох ролей: індексаторів, кураторів, делегаторів та розробників, які спільно підтримують потреби даних веб3 додатків.
Продукти The Graph також швидко розвиваються в умовах хвилі ШІ. Інструменти AutoAgora, Allocation Optimizer та AgentC, розроблені Semiotic Labs, відповідно оптимізують цінові стратегії, розподіл ресурсів та користувацький досвід, підвищуючи інтелектуальність системи та зручність для користувачів.
( 3.2 Ланцюгова база
Chainbase є мережею даних усіх Блокчейн, що інтегрує всі дані Блокчейн в одну платформу. Його особливості включають:
AI-модель Theia від Chainbase базується на моделі DORA від NVIDIA, аналізує зовнішні дані на Блокчейні та просторово-часову активність, надаючи користувачам інтелектуальні дані послуги.
![Читання, індексація до аналізу, короткий опис сектора індексації даних Web3])https://img-cdn.gateio.im/webp-social/moments-b343cab5112c1a3d52f4e72122ae0df2.webp###
( 3.3 Простір і час
Space and Time )SxT### прагне створити перевіряємий обчислювальний рівень, розширюючи нульові знання на централізованих сховищах даних. Його основна технологія Proof of SQL забезпечує захист від підробок і перевіряє запити SQL, забезпечуючи ефективне рішення для верифікації даних.
SxT співпрацює з лабораторією інновацій штучного інтелекту Microsoft для розробки інструментів генеративного ШІ, що дозволяють користувачам обробляти дані блокчейну за допомогою обробки природної мови. У Space and Time Studio ШІ може перетворювати природну мову на SQL і виконувати запити.
Висновок та перспективи
Блокчейн даних індексації технологій з початкових нод даних, через розвиток аналізу даних та індексаторів, врешті-решт еволюціонувала до AI-спроможних послуг даних на всьому ланцюгу, пройшовши поступовий процес вдосконалення. Ці технологічні досягнення не лише підвищили ефективність та точність доступу до даних, але й принесли інтелектуальний досвід.
В майбутньому, з розвитком нових технологій, таких як AI та нульові докази, послуги даних Блокчейн стануть ще більш інтелектуальними та безпечними. Як інфраструктура, послуги даних Блокчейн продовжать надавати підтримку інноваціям у промисловості.