Les approches traditionnelles de données uniques sont souvent des idées importantes qui sont présentes dans les relations intermodales. L'analyse multimodale rassemble diverses sources de données, telles que le texte, les images, l'audio et des données plus similaires pour fournir une vue plus complète d'un problème. Cette analyse des données multimodales est appelée analyse de données multimodale, et elle améliore la précision de la prédiction en fournissant une compréhension plus complète des problèmes en question tout en aidant à découvrir des relations complexes trouvées à travers les modalités des données.

En raison de la popularité toujours croissante de l'apprentissage automatique multimodal, il est essentiel que nous analysions ensemble des données structurées et non structurées pour améliorer notre précision. Cet article explorera ce qui est l'analyse des données multimodales et les concepts et flux de travail importants pour l'analyse multimodale.

Table des matières

• Comprendre les données multimodales
• Qu'est-ce que l'analyse des données multimodales?
• Prétraitement des données et représentation
  • Extraction de caractéristiques
  • Modèles de représentation
• Techniques de fusion
  • Stratégie de fusion précoce
  • Méthodologie de fusion tardive
  • Approches de fusion intermédiaires
• Exemple de flux de travail final à fin
  • étape 1: Créer une table d'objets
  • étape 2: Référence dans le tableau structuré
  • étape 3: Générer des intégres
  • étape 4: Récupération sémantique
• Avantages de l'analyse des données multimodales
• Conclusion

Comprendre les données multimodales

Les données multimodales désignent les données qui combinent des informations provenant de deux ou plusieurs sources ou modalités différentes. Il pourrait s'agir d'une combinaison de données de texte, d'image, de son, de vidéo, de nombres et de capteurs. Par exemple, un article sur les réseaux sociaux, qui pourrait être une combinaison de texte et d'images, ou un dossier médical qui contient des notes écrites par les cliniciens, les rayons X et les mesures des signes vitaux, est des données multimodales.

L'analyse des données multimodales nécessite des méthodes spécialisées capables de modéliser implicitement l'interdépendance de différents types de données. Le point essentiel des systèmes d'IA moderne est d'analyser des idées concernant la fusion qui peuvent avoir une compréhension et un pouvoir de prédiction plus riches que les approches basées sur une seule modalité. Ceci est particulièrement important pour la conduite autonome, le diagnostic des soins de santé, les systèmes de recommandation, etc.

Qu'est-ce que l'analyse des données multimodales?

L'analyse des données multimodales est un ensemble de méthodes et de techniques analytiques pour explorer et interpréter des ensembles de données, y compris plusieurs types de représentations. Fondamentalement, il fait référence à l'utilisation de méthodes analytiques spécifiques pour gérer différents types de données comme le texte, l'image, l'audio, la vidéo et les données numériques pour trouver et découvrir les modèles ou les relations cachés entre les modalités. Cela permet une compréhension plus complète ou fournit une meilleure description qu'une analyse distincte de différents types de sources.

La principale difficulté réside dans la conception de techniques qui permettent une fusion et un alignement efficaces des informations provenant de plusieurs modalités. Les analystes doivent travailler avec tous les types de données, structures, échelles et formats pour faire surface de signification dans les données et reconna?tre les modèles et les relations tout au long de l'entreprise. Ces dernières années, les progrès des techniques d'apprentissage automatique, en particulier les modèles d'apprentissage en profondeur, ont transformé les capacités d'analyse multimodales. Des approches telles que les mécanismes d'attention et les modèles de transformateurs peuvent apprendre des relations entre modales détaillées.

Prétraitement des données et représentation

Pour analyser efficacement les données multimodales, les données doivent d'abord être converties en représentations numériques qui sont compatibles et qui conservent des informations clés mais peuvent également être comparées entre les modalités. Cette étape de prétraitement est essentielle pour une bonne fusion et l'analyse des sources hétérogènes de données.

Extraction de caractéristiques

L'extraction des fonctionnalités est la transformation des données brutes en un ensemble de fonctionnalités significatives. Ceux-ci peuvent ensuite être utilisés par l'apprentissage automatique et les modèles d'apprentissage en profondeur de manière bonne et efficace. Il est destiné à extraire et à identifier les caractéristiques ou les modèles les plus importants des données, pour simplifier les taches du modèle. Certaines des méthodes d'extraction des caractéristiques les plus utilisées sont:

• Texte: Il s'agit de convertir les mots en nombres (c'est-à-dire des vecteurs). Cela peut être fait avec TF-IDF si le nombre de mots est plus petit, et des incorporations comme Bert ou Openai pour la capture de la relation sémantique.
• Images: Cela peut être fait à l'aide de réseaux CNN pré-formés comme les activations RESNET ou VGG. Ces algorithmes peuvent capturer les motifs hiérarchiques des bords de bas niveau dans l'image aux concepts sémantiques de haut niveau.
• Audio: calcul des signaux audio à l'aide de spectrogrammes ou de coefficients CEPSstraux de fréquence MEL (MFCC). Ces transformations convertissent les signaux audio temporels du domaine temporel en domaine fréquentiel. Cela aide à mettre en évidence les parties les plus importantes.
• Série chronologique: en utilisant une transformation de la longueur ou de la longueur d'onde pour changer les signaux temporels en composants de fréquence. Ces transformations aident à découvrir des modèles, des périodicités et des relations temporelles dans les données séquentielles.

Chaque modalité a sa propre nature intrinsèque et demande ainsi des techniques spécifiques à la modalité pour faire face à ses caractéristiques spécifiques. Le traitement du texte comprend des tokenisants et une incorporation sémantique, et l'analyse d'image utilise des convolutions pour trouver des modèles visuels. Les représentations de domaine de fréquence sont générées à partir des signaux audio et les informations temporelles sont réinterprétées mathématiquement pour dévoiler les modèles de trace et les périodes.

Modèles de représentation

Les modèles de représentation aident à créer des cadres pour coder des informations multimodales dans des structures mathématiques, ce qui permet une analyse intermodale et une compréhension approfondie des données. Cela peut être fait en utilisant:

• Incorporation partagée: crée un espace latent commun pour toutes les modalités dans un seul espace de représentation. On peut comparer, combiner différents types de données directement dans le même espace vectoriel à l'aide de cette approche.

• Analyse canonique: L'analyse canonique aide à identifier les projections linéaires avec une corrélation la plus élevée entre les modalités. Ce test statistique identifie les meilleures dimensions corrélées à travers divers types de données, permettant ainsi la compréhension inter-modale.

• Méthodes basées sur des graphiques: représentent chaque modalité comme une structure de graphe et apprenez les intégres préservant la similitude. Ces méthodes représentent des modèles relationnels complexes et permettent une analyse basée sur le réseau des relations multimodales.

• Cartes de diffusion: la diffusion multi-visualités combine la structure géométrique intrinsèque et les relations croisées pour effectuer une réduction des dimensions entre les modalités. Il préserve les structures de quartier locales mais permet la réduction des dimensions des données multimodales à haute dimension.

Ces modèles construisent des structures unifiées dans lesquelles différents types de données peuvent être comparés et composés de manière significative. L'objectif est la génération d'équivalence sémantique à travers les modalités pour permettre aux systèmes de comprendre qu'une image d'un chien, le mot ?chien? et un son aboyant se réfèrent tous à la même chose, bien que sous différentes formes.

Techniques de fusion

Dans cette section, nous nous plongerons dans les méthodologies primaires pour combiner les données multimodales. Explorez les stratégies de fusion précoces, tardives et intermédiaires avec leurs cas d'utilisation optimaux à partir de différents scénarios analytiques.

1. Stratégie de fusion précoce

Early Fusion combine toutes les données de différentes sources et différents types ensemble au niveau des fonctionnalités avant le début du traitement. Cela permet aux algorithmes de trouver naturellement les relations complexes cachées entre différentes modalités.

Ces algorithmes excellent, en particulier lorsque les modalités partagent des modèles et des relations communs. Cela aide à concaténer les fonctionnalités de diverses sources dans des représentations combinées. Cette méthode nécessite une manipulation minutieuse des données dans différentes échelles de données et formats pour un bon fonctionnement.

2. Méthodologie de fusion tardive

La fusion tardive se fait juste en face de la fusion précoce, au lieu de combiner toutes les sources de données combinée, il traite toutes les modalités indépendamment, puis les combine juste avant que le modèle ne prenne les décisions. Ainsi, les prédictions finales proviennent des sorties modales individuelles.

Ces algorithmes fonctionnent bien lorsque les modalités fournissent des informations supplémentaires sur les variables cibles. Ainsi, on peut tirer parti des modèles monomodaux existants sans changements significatifs dans les changements architecturaux. Cette méthode offre une flexibilité dans la gestion des valeurs des modalités manquantes pendant les phases de test.

3. Approches de fusion intermédiaires

Les stratégies de fusion intermédiaires combinent des modalités à différents niveaux de traitement, en fonction de la tache de prédiction. Ces algorithmes équilibrent les avantages des algorithmes de fusion précoce et tardive. Ainsi, les modèles peuvent apprendre efficacement les interactions individuelles et inter-modales.

Ces algorithmes excellent dans l'adaptation aux exigences analytiques spécifiques et aux caractéristiques des données. Ils sont donc extrêmement bien dans l'optimisation des mesures basées sur la fusion et des contraintes de calcul, et cette flexibilité le rend adapté à la résolution des applications complexes du monde réel.

Exemple de flux de travail final à fin

Dans cette section, nous allons parcourir un échantillon de workflow SQL qui construit un système de récupération multimodal et essayer d'effectuer une recherche sémantique dans BigQuery. Nous considérerons donc que nos données multimodales se compose uniquement de texte et d'images ici.

étape 1: Créer une table d'objets

Donc, définissez d'abord une ?table d'objets externe: - images_obj? qui fait référence aux fichiers non structurés du stockage cloud. Cela permet à BigQuery de traiter les fichiers comme des données interrogables via une colonne ObjectRef.

 Créer ou remplacer la table externe DataSet.images_obj
Avec connexion `project.region.myconn`
Options (
 object_metadata = 'Simple',
 uris = ['gs: // godet / images / *']
));

Ici, la table Image_OBJ obtient automatiquement une colonne de référence reliant chaque ligne à un objet GCS. Cela permet à BigQuery de gérer des fichiers non structurés comme les images et les fichiers audio ainsi que les données structurées. Tout en préservant les métadonnées et le contr?le d'accès.

étape 2: Référence dans le tableau structuré

Ici, nous combinons les lignes structurées avec des objectrefs pour les intégrations multimodales. Nous regroupons donc notre table d'objets en produisant les attributs et en générant un tableau de structures Objectref en tant qu'image_refs.

 Créer ou remplacer le jeu de données de table.
SéLECTIONNER
 id, nom, prix,
 Array_agg (
   Struct (uri, version, autorisation, détails)
 ) Comme image_refs
à partir d'images_obj
Groupe par id, nom, prix;

Cette étape crée une table de produit avec des champs structurés ainsi que les références d'image liées, permettant les incorporations multimodales dans une seule ligne.

étape 3: Générer des intégres

Maintenant, nous utiliserons BigQuery pour générer des intégres de texte et d'image dans un espace sémantique partagé.

 Créer un jeu de données de table.product_embeds comme
SéLECTIONNER
  identifiant,
  Ml.generate_embedding (
    Modèle `project.region.multimodal_embedding_model`,
    TABLEAU (
      SéLECTIONNER
        nom comme uri,
        'Text / PLAIN' en tant que contenu_type
    )
  ) .ml_generate_embedding_result comme text_emb,
  Ml.generate_embedding (
    Modèle `project.region.multimodal_embedding_model`,
    TABLEAU (
      SéLECTIONNER
        image_refs [offset (0)]. uri as uri,
        'image / jpeg' en tant que contenu_type
      De DataSet.Products
    )
  ) .ml_generate_embedding_result comme img_emb
From DataSet.Products;

Ici, nous générerons deux intégres par produit. L'un du nom du produit respectif et l'autre de la première image. Les deux utilisent le même modèle d'incorporation multimodal qui s'assure que cela vise à garantir que les deux intégres partagent le même espace d'incorporation. Cela aide à aligner les intérêts et permet les similitudes cross-modales transparentes.

étape 4: Récupération sémantique

Maintenant, une fois que nous avons les intérêts trans-modaux. Les interroger en utilisant une similitude sémantique donnera des requêtes de texte et d'image correspondantes.

 Sélectionnez ID, nom
à partir de dataset.product_embeds
Où vector_search (
    ml_generate_embedding_result,
    (Sélectionnez ML_GENERETEA_EMBEDDING_RESULT 
     De ml.generate_embedding (
         Modèle `project.region.multimodal_embedding_model`,
         TABLEAU (
           Sélectionnez "Mug eco-amis" comme URI,
                  'Text / PLAIN' en tant que contenu_type
         )
     )
    ),
    top_k => 10
)
Ordre par cosine_sim (img_emb, 
         (Sélectionnez ML_GENERETER_EMBEDDING_RESULT 
             Ml.generate_embedding (
               Modèle `project.region.multimodal_embedding_model`,
               TABLEAU (
                 Sélectionnez "gs: //user/query.jpg" comme uri, 
                        'image / jpeg' en tant que contenu_type
               )
             )
         )
      ) Desc;

Cette requête SQL effectue ici une recherche en deux étapes. Première recherche sémantique text-to-texte pour filtrer les candidats, puis les ordonne par similitude d'image à image entre le produit et les images et la requête. Cela aide à augmenter les capacités de recherche afin que vous puissiez saisir une phrase et une image, et récupérer des produits assortis sémantiquement.

Avantages de l'analyse des données multimodales

L'analyse des données multimodales modifie la fa?on dont les organisations obtiennent la valeur de la variété des données disponibles en intégrant plusieurs types de données dans des structures analytiques unifiées. La valeur de cette approche découle de la combinaison des forces de différentes modalités qui, considérées séparément, fourniront des informations moins efficaces que les modes standard existants d'analyse multimodale:

Informations plus profondes: l'intégration multimodale révèle les relations et les interactions complexes manquées par l'analyse à modale unique. En explorant les corrélations entre les différents types de données (texte, image, audio et données numériques) en même temps, il identifie les modèles et les dépendances cachés et développe une compréhension profonde du phénomène exploré.

Performances accrues: les modèles multimodaux montrent une précision plus améliorée qu'une approche unique modale. Cette redondance construit de solides systèmes analytiques qui produisent des résultats similaires et précis même si un ou modal a un peu de bruit dans les données telles que les entrées manquantes et les entrées incomplètes.

Temps-temps plus rapide: les capacités de fusion SQL augmentent l'efficacité et la vitesse des flux de travail du prototypage et de l'analyse, car ils soutiennent la fourniture d'un accès même rapide à des sources de données rapidement disponibles. Ce type d'activité encourage tous les types de nouvelles opportunités pour l'automatisation intelligente et l'expérience utilisateur.

évolutivité: il utilise la capacité de cloud native pour les cadres SQL et Python, permettant au processus de minimiser les problèmes de reproduction tout en accélérant la méthodologie de déploiement. Cette méthodologie indique spécifiquement que les solutions analytiques peuvent être mises à l'échelle malgré le niveau augmenté.

Conclusion

L'analyse des données multimodales montre une approche révolutionnaire qui peut débloquer des informations inégalées en utilisant diverses sources d'information. Les organisations adoptent ces méthodologies pour obtenir des avantages concurrentiels importants grace à une compréhension complète des relations complexes que les approches à modal unique n'ont pas pu capturer.

Cependant, le succès nécessite des investissements stratégiques et des infrastructures appropriées avec des cadres de gouvernance robustes. Alors que les outils automatisés et les plates-formes cloud continuent de donner un accès facile, les premiers adoptants peuvent faire des avantages éternels dans le domaine d'une économie basée sur les données. L'analyse multimodale devient rapidement importante pour réussir avec des données complexes.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!