Évolution des technologies d'indexation des données Blockchain : des nœuds bruts aux services de données intégrales habilités par l'IA
1. Introduction
Depuis le lancement des premiers dApp en 2017, l'écosystème des applications Blockchain est devenu de plus en plus riche. En discutant des applications décentralisées, nous sommes-nous déjà demandé d'où proviennent les données utilisées par ces dApp ?
En 2024, l'IA et le Web3 deviennent des sujets brûlants. Dans le domaine de l'intelligence artificielle, les données sont comme la source de la vie, essentielles pour l'apprentissage et la réflexion des systèmes d'IA. Sans le soutien des données, même les algorithmes d'IA les plus sophistiqués peinent à démontrer leur intelligence.
Cet article explorera en profondeur l'évolution de l'accessibilité des données de la Blockchain, analysera le processus d'évolution des index de données et comparera les caractéristiques des protocoles de services de données tels que The Graph, Chainbase et Space and Time, en mettant particulièrement l'accent sur les innovations des deux derniers en matière de combinaison avec la technologie AI.
2. La complexité et la simplicité de l'indexation des données : des nœuds de Blockchain à la base de données complète
2.1 Source des données : Nœud Blockchain
La Blockchain est considérée comme un livre de comptes décentralisé, les Nœuds en sont l'infrastructure, responsables de l'enregistrement, du stockage et de la diffusion de toutes les données de transaction sur la chaîne. Cependant, les utilisateurs ordinaires qui construisent et maintiennent des Nœuds font face à des défis techniques et de coûts. Bien que théoriquement tout le monde puisse faire fonctionner un Nœud, en réalité, les utilisateurs dépendent beaucoup des services tiers.
Pour résoudre ce problème, les fournisseurs de nœuds RPC ont vu le jour. Ils gèrent les nœuds et fournissent des données via des points de terminaison RPC, permettant aux utilisateurs d'accéder aux données de la Blockchain sans avoir à créer leurs propres nœuds. Les points de terminaison RPC publics sont gratuits mais soumis à des limites de vitesse, tandis que les points de terminaison RPC privés offrent de meilleures performances mais leur efficacité reste à améliorer. L'API standardisée des fournisseurs de nœuds réduit le seuil d'accès aux données, posant ainsi les bases pour une analyse et une application ultérieures des données.
2.2 Analyse des données : des données prototypes aux données exploitables
Les données brutes fournies par les nœuds de la blockchain sont généralement chiffrées et codées, ce qui augmente la difficulté d'analyse. Pour les utilisateurs ordinaires et les développeurs, le traitement direct de ces données nécessite une grande quantité de connaissances techniques et de ressources de calcul.
Le processus d'analyse des données est crucial, car il transforme des données prototypes complexes en un format facile à comprendre et à manipuler, permettant aux utilisateurs d'exploiter ces données de manière plus intuitive. La qualité de l'analyse influence directement l'efficacité et l'efficacité des applications de données, étant un maillon clé de l'ensemble du processus d'indexation.
2.3 L'évolution de l'indexeur de données
Avec l'augmentation de la quantité de données de la Blockchain, la demande d'indexeurs augmente de plus en plus. Les indexeurs organisent les données sur la chaîne et les envoient à une base de données pour permettre des requêtes pratiques. Ils indexent les données de la Blockchain et rendent les données toujours disponibles grâce à un langage de requête similaire à SQL ( comme l'API GraphQL ), simplifiant considérablement le processus de récupération des données.
Différents types d'indexeurs optimisent les méthodes de recherche de données :
Indexeur de nœud complet : extrait directement les données des nœuds de blockchain complets, garantissant l'intégrité et l'exactitude, mais nécessitant une grande capacité de stockage et de traitement.
Indexeur léger : s'appuie sur des nœuds complets pour obtenir des données spécifiques à la demande, réduisant les besoins de stockage mais pouvant augmenter le temps de requête.
Indexeur spécialisé : optimisé pour des types de données ou des Blockchain spécifiques, comme les données NFT ou les transactions DeFi.
Agrégateur d'index: extrait des données de plusieurs blockchains et sources, y compris des informations hors chaîne, et fournit une interface de requête unifiée, adaptée aux dApp multi-chaines.
Actuellement, les nœuds d'archives Ethereum occupent entre 3 et 13,5 To d'espace de stockage selon différents clients, et augmentent avec la croissance de la blockchain. Face à l'énorme volume de données, les protocoles d'indexation principaux supportent l'indexation multi-chaines et personnalisent les frameworks de parsing des données selon les besoins des différentes applications, comme le framework "subgraph" de The Graph.
L'indexeur améliore considérablement l'efficacité de l'indexation et des requêtes de données. Par rapport aux points de terminaison RPC traditionnels, l'indexeur prend en charge l'indexation efficace d'un grand volume de données et des requêtes à haute vitesse. Ils permettent d'exécuter des requêtes complexes, de filtrer les données et d'effectuer des analyses. Certains indexeurs prennent également en charge l'agrégation de plusieurs sources de données de Blockchain, évitant ainsi le problème du déploiement de plusieurs API pour les dApps multi-chaînes. Grâce à un fonctionnement distribué, l'indexeur offre une sécurité et des performances renforcées, réduisant ainsi le risque d'interruption pouvant être causé par des fournisseurs RPC centralisés.
2.4 Base de données entièrement alignée sur le flux
L'utilisation de nœuds d'index pour interroger des données dépend généralement des API en tant que seul portail de données. Cependant, lorsque les projets s'étendent, il est souvent nécessaire d'avoir des sources de données plus flexibles, car les API standardisées ont du mal à répondre à ces besoins. Avec la complexification des exigences des applications, les indexeurs de données de base et leurs formats d'index standardisés peinent à répondre à des besoins de requêtes diversifiés, tels que la recherche, l'accès inter-chaînes ou la cartographie des données hors chaîne.
Dans l'architecture moderne des pipelines de données, la méthode "priorité au flux" devient une solution pour surmonter les limitations du traitement par lots traditionnel, permettant l'ingestion, le traitement et l'analyse des données en temps réel. Les fournisseurs de services de données Blockchain évoluent également vers la construction de flux de données, comme les Substreams de The Graph, le Mirror de Goldsky, ainsi que les lacs de données en temps réel de Chainbase et SubSquid.
Ces services visent à répondre aux besoins d'analyse des transactions en temps réel et de capacité de requête complète. Ils soutiennent le développement des applications et aident à l'analyse des données sur la chaîne grâce à des sources de données plus avancées et matures.
Redéfinir les défis des données on-chain sous l'angle des pipelines de données modernes, nous pouvons envisager le potentiel de gestion, de stockage et de fourniture des données sous un nouvel angle. En considérant les sous-graphes et les indexeurs tels que l'ETL Ethereum comme des flux de données plutôt que comme des sorties finales, nous pouvons imaginer la possibilité de personnaliser des ensembles de données haute performance pour n'importe quel cas d'utilisation.
3. IA + Base de données ? Comparaison approfondie de The Graph, Chainbase, Space and Time
3.1 The Graph
Le réseau The Graph fournit des services d'indexation et de requête de données multi-chaînes via un réseau de nœuds décentralisés, facilitant aux développeurs l'indexation des données de la blockchain et la construction d'applications décentralisées. Ses principaux modèles de produits incluent le marché d'exécution des requêtes de données et le marché de cache d'indexation des données, répondant aux besoins de requête des utilisateurs.
Un sous-graphe est la structure de données de base du réseau The Graph, définissant comment extraire et transformer des données de la Blockchain en un format interrogeable. Quiconque peut créer un sous-graphe, plusieurs applications peuvent le réutiliser, améliorant la réutilisabilité des données et l'efficacité d'utilisation.
Le réseau The Graph est composé de quatre rôles clés : indexeurs, conservateurs, délégués et développeurs, qui fournissent ensemble un soutien en données pour les applications web3.
The Graph a désormais opté pour un service d'hébergement de sous-graphes entièrement décentralisé, avec des incitations économiques entre les différentes parties prenantes pour garantir le bon fonctionnement du système.
Les outils AutoAgora, Allocation Optimizer et AgentC développés par Semiotic Labs améliorent les performances de l'écosystème de plusieurs manières, telles que la tarification dynamique, l'allocation optimale des ressources et les requêtes en langage naturel. L'application de ces outils permet à The Graph d'associer l'IA pour améliorer encore l'intelligence du système et la convivialité pour les utilisateurs.
3.2 Chainbase
Chainbase est un réseau de données en chaîne, intégrant toutes les données de blockchain sur une plateforme, facilitant ainsi le développement et la maintenance des applications par les développeurs. Ses caractéristiques incluent :
Lac de données en temps réel : Fournit un lac de données en temps réel spécialement conçu pour les flux de données Blockchain, prenant en charge l'accès instantané aux données.
Architecture à double chaîne : construite sur la couche d'exécution basée sur Eigenlayer AVS, formant une architecture parallèle à double chaîne avec l'algorithme de consensus CometBFT, renforçant la programmabilité et la combinabilité des données inter-chaînes.
Norme de format de données innovante : introduction de la norme de format de données "manuscripts", optimisation de la structuration et de l'utilisation des données dans l'industrie de la cryptographie.
Modèle du monde crypto : en combinant la technologie des modèles d'IA, créer un modèle d'IA capable de comprendre, prédire les transactions Blockchain et d'interagir avec elles, comme le modèle de base Theia.
Le modèle AI Theia de Chainbase est basé sur le modèle DORA de NVIDIA, combinant des données on-chain et off-chain ainsi que des activités spatio-temporelles, pour analyser les modèles cryptographiques et réagir par le biais de l'inférence causale, en explorant en profondeur la valeur potentielle des données on-chain.
L'IA permet à Chainbase de devenir un prestataire de services de données intelligent plus compétitif, capable de fournir des aperçus de données plus larges et d'optimiser le processus de traitement des données.
3.3 Espace et Temps
Space and Time (SxT) vise à créer une couche de calcul vérifiable, en étendant les preuves à divulgation nulle de connaissance sur un entrepôt de données décentralisé, pour fournir un traitement de données fiable aux contrats intelligents, aux grands modèles linguistiques et aux entreprises.
SxT introduit la technologie Proof of SQL, qui est une technologie innovante de preuve à divulgation nulle de connaissance, garantissant que les requêtes SQL exécutées sur des entrepôts de données décentralisés sont à l'abri des falsifications et vérifiables. Proof of SQL génère des preuves cryptographiques, vérifiant l'intégrité et l'exactitude des résultats des requêtes, permettant à tout vérificateur de confirmer indépendamment que les données n'ont pas été falsifiées.
SxT collabore avec le laboratoire d'innovation AI de Microsoft pour développer des outils d'IA générative, facilitant aux utilisateurs le traitement des données blockchain via le traitement du langage naturel. Space and Time Studio permet aux utilisateurs de saisir des requêtes en langage naturel, l'IA les convertit automatiquement en SQL et exécute la requête, présentant le résultat final.
Conclusion et perspectives
La technologie d'indexation des données de Blockchain a évolué depuis la source des données des nœuds initiaux, à travers le développement de l'analyse des données et des indexeurs, jusqu'à un service de données de chaîne complète habilité par l'IA, en passant par un processus d'amélioration progressive. Ces technologies évoluent constamment, améliorant l'efficacité et la précision d'accès aux données, offrant aux utilisateurs une expérience intelligemment améliorée.
À l'avenir, avec le développement de nouvelles technologies telles que l'IA et les preuves à divulgation nulle de connaissance, les services de données Blockchain deviendront encore plus intelligents et sécurisés. Les services de données Blockchain, en tant qu'infrastructure, continueront à jouer un rôle important en soutenant le progrès et l'innovation dans l'industrie.
Voir l'original
Cette page peut inclure du contenu de tiers fourni à des fins d'information uniquement. Gate ne garantit ni l'exactitude ni la validité de ces contenus, n’endosse pas les opinions exprimées, et ne fournit aucun conseil financier ou professionnel à travers ces informations. Voir la section Avertissement pour plus de détails.
9 J'aime
Récompense
9
4
Partager
Commentaire
0/400
SundayDegen
· 08-06 11:36
Un bon article, c'est des informations précieuses.
Évolution de l'indexation des données de la Blockchain : des Nœuds aux services complets de l'IA
Évolution des technologies d'indexation des données Blockchain : des nœuds bruts aux services de données intégrales habilités par l'IA
1. Introduction
Depuis le lancement des premiers dApp en 2017, l'écosystème des applications Blockchain est devenu de plus en plus riche. En discutant des applications décentralisées, nous sommes-nous déjà demandé d'où proviennent les données utilisées par ces dApp ?
En 2024, l'IA et le Web3 deviennent des sujets brûlants. Dans le domaine de l'intelligence artificielle, les données sont comme la source de la vie, essentielles pour l'apprentissage et la réflexion des systèmes d'IA. Sans le soutien des données, même les algorithmes d'IA les plus sophistiqués peinent à démontrer leur intelligence.
Cet article explorera en profondeur l'évolution de l'accessibilité des données de la Blockchain, analysera le processus d'évolution des index de données et comparera les caractéristiques des protocoles de services de données tels que The Graph, Chainbase et Space and Time, en mettant particulièrement l'accent sur les innovations des deux derniers en matière de combinaison avec la technologie AI.
2. La complexité et la simplicité de l'indexation des données : des nœuds de Blockchain à la base de données complète
2.1 Source des données : Nœud Blockchain
La Blockchain est considérée comme un livre de comptes décentralisé, les Nœuds en sont l'infrastructure, responsables de l'enregistrement, du stockage et de la diffusion de toutes les données de transaction sur la chaîne. Cependant, les utilisateurs ordinaires qui construisent et maintiennent des Nœuds font face à des défis techniques et de coûts. Bien que théoriquement tout le monde puisse faire fonctionner un Nœud, en réalité, les utilisateurs dépendent beaucoup des services tiers.
Pour résoudre ce problème, les fournisseurs de nœuds RPC ont vu le jour. Ils gèrent les nœuds et fournissent des données via des points de terminaison RPC, permettant aux utilisateurs d'accéder aux données de la Blockchain sans avoir à créer leurs propres nœuds. Les points de terminaison RPC publics sont gratuits mais soumis à des limites de vitesse, tandis que les points de terminaison RPC privés offrent de meilleures performances mais leur efficacité reste à améliorer. L'API standardisée des fournisseurs de nœuds réduit le seuil d'accès aux données, posant ainsi les bases pour une analyse et une application ultérieures des données.
2.2 Analyse des données : des données prototypes aux données exploitables
Les données brutes fournies par les nœuds de la blockchain sont généralement chiffrées et codées, ce qui augmente la difficulté d'analyse. Pour les utilisateurs ordinaires et les développeurs, le traitement direct de ces données nécessite une grande quantité de connaissances techniques et de ressources de calcul.
Le processus d'analyse des données est crucial, car il transforme des données prototypes complexes en un format facile à comprendre et à manipuler, permettant aux utilisateurs d'exploiter ces données de manière plus intuitive. La qualité de l'analyse influence directement l'efficacité et l'efficacité des applications de données, étant un maillon clé de l'ensemble du processus d'indexation.
2.3 L'évolution de l'indexeur de données
Avec l'augmentation de la quantité de données de la Blockchain, la demande d'indexeurs augmente de plus en plus. Les indexeurs organisent les données sur la chaîne et les envoient à une base de données pour permettre des requêtes pratiques. Ils indexent les données de la Blockchain et rendent les données toujours disponibles grâce à un langage de requête similaire à SQL ( comme l'API GraphQL ), simplifiant considérablement le processus de récupération des données.
Différents types d'indexeurs optimisent les méthodes de recherche de données :
Actuellement, les nœuds d'archives Ethereum occupent entre 3 et 13,5 To d'espace de stockage selon différents clients, et augmentent avec la croissance de la blockchain. Face à l'énorme volume de données, les protocoles d'indexation principaux supportent l'indexation multi-chaines et personnalisent les frameworks de parsing des données selon les besoins des différentes applications, comme le framework "subgraph" de The Graph.
L'indexeur améliore considérablement l'efficacité de l'indexation et des requêtes de données. Par rapport aux points de terminaison RPC traditionnels, l'indexeur prend en charge l'indexation efficace d'un grand volume de données et des requêtes à haute vitesse. Ils permettent d'exécuter des requêtes complexes, de filtrer les données et d'effectuer des analyses. Certains indexeurs prennent également en charge l'agrégation de plusieurs sources de données de Blockchain, évitant ainsi le problème du déploiement de plusieurs API pour les dApps multi-chaînes. Grâce à un fonctionnement distribué, l'indexeur offre une sécurité et des performances renforcées, réduisant ainsi le risque d'interruption pouvant être causé par des fournisseurs RPC centralisés.
2.4 Base de données entièrement alignée sur le flux
L'utilisation de nœuds d'index pour interroger des données dépend généralement des API en tant que seul portail de données. Cependant, lorsque les projets s'étendent, il est souvent nécessaire d'avoir des sources de données plus flexibles, car les API standardisées ont du mal à répondre à ces besoins. Avec la complexification des exigences des applications, les indexeurs de données de base et leurs formats d'index standardisés peinent à répondre à des besoins de requêtes diversifiés, tels que la recherche, l'accès inter-chaînes ou la cartographie des données hors chaîne.
Dans l'architecture moderne des pipelines de données, la méthode "priorité au flux" devient une solution pour surmonter les limitations du traitement par lots traditionnel, permettant l'ingestion, le traitement et l'analyse des données en temps réel. Les fournisseurs de services de données Blockchain évoluent également vers la construction de flux de données, comme les Substreams de The Graph, le Mirror de Goldsky, ainsi que les lacs de données en temps réel de Chainbase et SubSquid.
Ces services visent à répondre aux besoins d'analyse des transactions en temps réel et de capacité de requête complète. Ils soutiennent le développement des applications et aident à l'analyse des données sur la chaîne grâce à des sources de données plus avancées et matures.
Redéfinir les défis des données on-chain sous l'angle des pipelines de données modernes, nous pouvons envisager le potentiel de gestion, de stockage et de fourniture des données sous un nouvel angle. En considérant les sous-graphes et les indexeurs tels que l'ETL Ethereum comme des flux de données plutôt que comme des sorties finales, nous pouvons imaginer la possibilité de personnaliser des ensembles de données haute performance pour n'importe quel cas d'utilisation.
3. IA + Base de données ? Comparaison approfondie de The Graph, Chainbase, Space and Time
3.1 The Graph
Le réseau The Graph fournit des services d'indexation et de requête de données multi-chaînes via un réseau de nœuds décentralisés, facilitant aux développeurs l'indexation des données de la blockchain et la construction d'applications décentralisées. Ses principaux modèles de produits incluent le marché d'exécution des requêtes de données et le marché de cache d'indexation des données, répondant aux besoins de requête des utilisateurs.
Un sous-graphe est la structure de données de base du réseau The Graph, définissant comment extraire et transformer des données de la Blockchain en un format interrogeable. Quiconque peut créer un sous-graphe, plusieurs applications peuvent le réutiliser, améliorant la réutilisabilité des données et l'efficacité d'utilisation.
Le réseau The Graph est composé de quatre rôles clés : indexeurs, conservateurs, délégués et développeurs, qui fournissent ensemble un soutien en données pour les applications web3.
The Graph a désormais opté pour un service d'hébergement de sous-graphes entièrement décentralisé, avec des incitations économiques entre les différentes parties prenantes pour garantir le bon fonctionnement du système.
Les outils AutoAgora, Allocation Optimizer et AgentC développés par Semiotic Labs améliorent les performances de l'écosystème de plusieurs manières, telles que la tarification dynamique, l'allocation optimale des ressources et les requêtes en langage naturel. L'application de ces outils permet à The Graph d'associer l'IA pour améliorer encore l'intelligence du système et la convivialité pour les utilisateurs.
3.2 Chainbase
Chainbase est un réseau de données en chaîne, intégrant toutes les données de blockchain sur une plateforme, facilitant ainsi le développement et la maintenance des applications par les développeurs. Ses caractéristiques incluent :
Le modèle AI Theia de Chainbase est basé sur le modèle DORA de NVIDIA, combinant des données on-chain et off-chain ainsi que des activités spatio-temporelles, pour analyser les modèles cryptographiques et réagir par le biais de l'inférence causale, en explorant en profondeur la valeur potentielle des données on-chain.
L'IA permet à Chainbase de devenir un prestataire de services de données intelligent plus compétitif, capable de fournir des aperçus de données plus larges et d'optimiser le processus de traitement des données.
3.3 Espace et Temps
Space and Time (SxT) vise à créer une couche de calcul vérifiable, en étendant les preuves à divulgation nulle de connaissance sur un entrepôt de données décentralisé, pour fournir un traitement de données fiable aux contrats intelligents, aux grands modèles linguistiques et aux entreprises.
SxT introduit la technologie Proof of SQL, qui est une technologie innovante de preuve à divulgation nulle de connaissance, garantissant que les requêtes SQL exécutées sur des entrepôts de données décentralisés sont à l'abri des falsifications et vérifiables. Proof of SQL génère des preuves cryptographiques, vérifiant l'intégrité et l'exactitude des résultats des requêtes, permettant à tout vérificateur de confirmer indépendamment que les données n'ont pas été falsifiées.
SxT collabore avec le laboratoire d'innovation AI de Microsoft pour développer des outils d'IA générative, facilitant aux utilisateurs le traitement des données blockchain via le traitement du langage naturel. Space and Time Studio permet aux utilisateurs de saisir des requêtes en langage naturel, l'IA les convertit automatiquement en SQL et exécute la requête, présentant le résultat final.
Conclusion et perspectives
La technologie d'indexation des données de Blockchain a évolué depuis la source des données des nœuds initiaux, à travers le développement de l'analyse des données et des indexeurs, jusqu'à un service de données de chaîne complète habilité par l'IA, en passant par un processus d'amélioration progressive. Ces technologies évoluent constamment, améliorant l'efficacité et la précision d'accès aux données, offrant aux utilisateurs une expérience intelligemment améliorée.
À l'avenir, avec le développement de nouvelles technologies telles que l'IA et les preuves à divulgation nulle de connaissance, les services de données Blockchain deviendront encore plus intelligents et sécurisés. Les services de données Blockchain, en tant qu'infrastructure, continueront à jouer un rôle important en soutenant le progrès et l'innovation dans l'industrie.