従來(lái)のシングルモーダルデータアプローチは、多くの場(chǎng)合、クロスモーダル関係に存在する重要な洞察を逃します。マルチモーダル分析により、テキスト、畫(huà)像、オーディオ、およびより類(lèi)似したデータなど、さまざまなデータソースがまとめて、問(wèn)題のより完全な見(jiàn)解を提供します。このマルチモーダルデータ分析は、マルチモーダルデータ分析と呼ばれ、目前の問(wèn)題をより完全に理解しながら、データのモダリティ全體で見(jiàn)られる複雑な関係を明らかにするのに役立つことにより、予測(cè)の精度を向上させます。

マルチモーダルの機(jī)械學(xué)習(xí)の人気が増え続けるため、正確性を向上させるために、構(gòu)造化された構(gòu)造化と非構(gòu)造化データを一緒に分析することが不可欠です。この記事では、マルチモーダルデータ分析とマルチモーダル分析の重要な概念とワークフローについて説明します。

目次

• マルチモーダルデータの理解
• マルチモーダルデータ分析とは何ですか？
• データの前処理と表現(xiàn)
  • 特徴抽出
  • 表現(xiàn)モデル
• 融合技術(shù)
  • 早期融合戦略
  • 遅い融合方法論
  • 中間融合アプローチ
• サンプルエンドツーエンドのワークフロー
  • ステップ1：オブジェクトテーブルを作成します
  • ステップ2：構(gòu)造化されたテーブルの參照
  • ステップ3：埋め込みを生成します
  • ステップ4：セマンティック検索
• マルチモーダルデータ分析の利點(diǎn)
• 結(jié)論

マルチモーダルデータの理解

マルチモーダルデータとは、2つ以上の異なるソースまたはモダリティからの情報(bào)を組み合わせたデータを意味します。これは、テキスト、畫(huà)像、サウンド、ビデオ、數(shù)字、およびセンサーデータの組み合わせである可能性があります。たとえば、テキストと畫(huà)像の組み合わせである可能性のあるソーシャルメディアの投稿、または臨床醫(yī)によって書(shū)かれたメモ、バイタルサインの測(cè)定値が含まれる醫(yī)療記録は、マルチモーダルデータです。

マルチモーダルデータの分析では、さまざまなタイプのデータの相互依存を暗黙的にモデル化できる専門(mén)的な方法が必要です。最新のAIシステムの重要な點(diǎn)は、単一モダリティベースのアプローチよりも豊かな理解と予測(cè)力を持つ可能性のある融合に関するアイデアを分析することです。これは、自律運(yùn)転、ヘルスケア診斷、推奨システムなどにとって特に重要です。

マルチモーダルデータ分析とは何ですか？

マルチモーダルデータ分析は、複數(shù)のタイプの表現(xiàn)を含むデータセットを探索および解釈するための分析方法と手法のセットです。基本的に、テキスト、畫(huà)像、オーディオ、ビデオ、數(shù)値データなどのさまざまなデータ型を処理するための特定の分析方法の使用を指し、モダリティ間の隠されたパターンまたは関係を見(jiàn)つけて発見(jiàn)します。これにより、より完全な理解が可能になるか、さまざまなソースタイプの個(gè)別の分析よりも優(yōu)れた説明を提供します。

主な難しさは、複數(shù)のモダリティからの情報(bào)の効率的な融合と調(diào)整を可能にする技術(shù)の設(shè)計(jì)にあります。アナリストは、あらゆる種類(lèi)のデータ、構(gòu)造、スケール、フォーマットを使用して、データの意味を表面化し、ビジネス全體でパターンと関係を認(rèn)識(shí)する必要があります。近年、機(jī)械學(xué)習(xí)技術(shù)、特に深い學(xué)習(xí)モデルの進(jìn)歩により、マルチモーダル分析機(jī)能が変わりました。注意メカニズムやトランスモデルなどのアプローチは、詳細(xì)なクロスモーダル関係を?qū)Wぶことができます。

データの前処理と表現(xiàn)

マルチモーダルデータを効果的に分析するために、データはまず互換性があり、重要な情報(bào)を保持しているが、モダリティ全體で比較することができる數(shù)値表現(xiàn)に変換する必要があります。この前処理ステップは、適切な融合と不均一なデータソースの分析に不可欠です。

特徴抽出

機(jī)能抽出とは、生データを意味のある機(jī)能のセットに変換することです。これらは、機(jī)械學(xué)習(xí)モデルと深い學(xué)習(xí)モデルによって優(yōu)れた効率的な方法で利用できます。モデルのタスクをよりシンプルにするために、データから最も重要な特性またはパターンを抽出して特定することを目的としています。最も広く使用されている機(jī)能抽出方法のいくつかは次のとおりです。

• テキスト：単語(yǔ)を數(shù)字（つまり、ベクトル）に変換することに関するものです。これは、単語(yǔ)の數(shù)が小さく、セマンティックリレーションシップキャプチャのためにBertやOpenaiのような埋め込みである場(chǎng)合、TF-IDFで実行できます。
• 畫(huà)像： ResNetやVGGの活性化などの事前に訓(xùn)練されたCNNネットワークを使用して実行できます。これらのアルゴリズムは、畫(huà)像の低レベルのエッジから高レベルのセマンティック概念まで階層パターンをキャプチャできます。
• オーディオ：スペクトログラムまたはメル周波數(shù)cepstral係數(shù)（MFCC）の助けを借りて、オーディオ信號(hào)を計(jì)算します。これらの変換により、時(shí)間ドメインからの時(shí)間的な音聲信號(hào)を周波數(shù)ドメインに変換します。これは、最も重要な部分を強(qiáng)調(diào)するのに役立ちます。
• 時(shí)系列：フーリエまたは波長(zhǎng)変換を使用して、時(shí)間信號(hào)を周波數(shù)成分に変更します。これらの変換は、シーケンシャルデータ?jī)?nèi)のパターン、周期性、および時(shí)間的関係を明らかにするのに役立ちます。

すべてのモダリティには獨(dú)自の本質(zhì)的な性質(zhì)があるため、特定の特性に対処するためのモダリティ固有のテクニックを求めます。テキスト処理にはトークン化と意味的に埋め込まれていることがあり、畫(huà)像分析では裝置を使用して視覚パターンを見(jiàn)つけることができます。周波數(shù)ドメイン表現(xiàn)はオーディオ信號(hào)から生成され、時(shí)間情報(bào)は數(shù)學(xué)的に再解釈され、トレースパターンと期間を明らかにします。

表現(xiàn)モデル

表現(xiàn)モデルは、マルチモーダル情報(bào)を數(shù)學(xué)的構(gòu)造にエンコードするためのフレームワークの作成に役立ちます。これにより、クロスモーダル分析とデータの詳細(xì)な理解が可能になります。これを使用して実行できます。

• 共有埋め込み： 1つの表現(xiàn)空間のすべてのモダリティの共通の潛在スペースを作成します。このアプローチの助けを借りて、同じベクトル空間で異なるタイプのデータを直接組み合わせることができます。

• 標(biāo)準(zhǔn)分析：標(biāo)準(zhǔn)分析は、モダリティ全體で最も高い相関を持つ線形投影を識(shí)別するのに役立ちます。この統(tǒng)計(jì)テストは、さまざまなデータ型にわたる最良の相関の次元を識(shí)別し、それによりクロスモーダルの理解を可能にします。

• グラフベースの方法：すべてのモダリティをグラフ構(gòu)造として表現(xiàn)し、類(lèi)似性を提供する埋め込みを?qū)W習(xí)します。これらの方法は、複雑なリレーショナルパターンを表し、マルチモーダル関係のネットワークベースの分析を可能にします。

• 拡散マップ：マルチビュー拡散は、內(nèi)因性の幾何學(xué)的構(gòu)造と交差関連を組み合わせて、モダリティ全體で寸法削減を?qū)g行します。地元の近隣構(gòu)造を保存しますが、高次元のマルチモーダルデータの寸法削減を可能にします。

これらのモデルは、さまざまな種類(lèi)のデータを比較し、有意義に構(gòu)成できる統(tǒng)一された構(gòu)造を構(gòu)築します。目標(biāo)は、モダリティ全體でセマンティックな等価性の生成であり、システムが犬のイメージ、「犬」という言葉、およびbarえる音がすべて同じものを指していることを理解できるようにすることです。

融合技術(shù)

このセクションでは、マルチモーダルデータを組み合わせるための主要な方法論を掘り下げます。さまざまな分析シナリオから最適なユースケースを使用して、初期、後期、および中級(jí)の融合戦略を探索します。

1。早期融合戦略

Early Fusionは、処理が開(kāi)始される前に、機(jī)能レベルでさまざまなソースとさまざまなタイプのすべてのデータを組み合わせます。これにより、アルゴリズムは、異なるモダリティ間の隠された複雑な関係を自然に見(jiàn)つけることができます。

これらのアルゴリズムは、特にモダリティが共通のパターンと関係を共有する場(chǎng)合に優(yōu)れています。これは、さまざまなソースから複合表現(xiàn)に機(jī)能を連結(jié)するのに役立ちます。この方法では、適切に機(jī)能するために、さまざまなデータスケールと形式にデータを慎重に処理する必要があります。

2。融合後期方法論

後期融合は、すべてのデータソースを組み合わせる代わりに、すべてのモダリティを個(gè)別に処理し、モデルが決定を下す直前にそれらを組み合わせる代わりに、早期融合とは反対に行います。したがって、最終的な予測(cè)は、個(gè)々のモーダル出力からのものです。

これらのアルゴリズムは、モダリティがターゲット変數(shù)に関する追加情報(bào)を提供する場(chǎng)合にうまく機(jī)能します。したがって、アーキテクチャの変化に大きな変化がない場(chǎng)合は、既存のシングルモーダルモデルを活用できます。この方法では、テストフェーズ中にモダリティの値が欠落している柔軟性を提供します。

3。中間融合アプローチ

中間融合戦略は、予測(cè)タスクに応じて、さまざまな処理レベルでモダリティを組み合わせます。これらのアルゴリズムは、初期および後期の融合アルゴリズムの両方の利點(diǎn)のバランスをとります。そのため、モデルは個(gè)々の相互作用とクロスモーダルの両方の相互作用を効果的に學(xué)習(xí)できます。

これらのアルゴリズムは、特定の分析要件とデータ特性に適応することに優(yōu)れています。そのため、融合ベースのメトリックと計(jì)算上の制約を最適化するのに非常に適しており、この柔軟性により、複雑な現(xiàn)実世界のアプリケーションの解決に適しています。

サンプルエンドツーエンドのワークフロー

このセクションでは、マルチモーダル検索システムを構(gòu)築するサンプルSQLワークフローを進(jìn)め、BigQuery內(nèi)でセマンティック検索を?qū)g行しようとします。したがって、マルチモーダルデータはここでテキストと畫(huà)像のみで構(gòu)成されていると考えています。

ステップ1：オブジェクトテーブルを作成します

したがって、最初に、クラウドストレージから非構(gòu)造化されたファイルを參照する外部の「オブジェクトテーブル：-Images_OBJ」を定義します。これにより、BigQueryはObjectRef列を介してファイルをクエリデータとして扱うことができます。

外部テーブルDataset.images_objを作成または交換します
接続 `project.region.myconn`
オプション（
 object_metadata = 'simple'、
 uris = ['gs：// bucket/images/*']
）;

ここで、テーブルImage_OBJは、各行をGCSオブジェクトにリンクするREF列を自動(dòng)的に取得します。これにより、BigQueryは構(gòu)造化されたデータとともに畫(huà)像やオーディオファイルなどの非構(gòu)造化されたファイルを管理できます。メタデータとアクセス制御を保存しながら。

ステップ2：構(gòu)造化されたテーブルの參照

ここでは、構(gòu)造化された行とマルチモーダル統(tǒng)合のためのObjectRefsを組み合わせています。したがって、屬性を生成し、ObjectRef structsの配列をimage_refsとして生成することにより、オブジェクトテーブルをグループ化します。

テーブルデータセットを作成または交換します
選択します
 ID、名前、価格、
 array_agg（
   struct（URI、バージョン、承認(rèn)者、詳細(xì)）
 ）Image_Refsとして
Images_objから
ID、名前、価格ごとのグループ。

このステップは、リンクされた畫(huà)像參照とともに構(gòu)造化されたフィールドを備えた製品テーブルを作成し、単一の行にマルチモーダル埋め込みを可能にします。

ステップ3：埋め込みを生成します

ここで、BigQueryを使用して、共有セマンティックスペースにテキストと畫(huà)像の埋め込みを生成します。

テーブルデータセットを作成します。product_embedsas
選択します
  ID、
  ml.generate_embeding（
    モデル `project.region.multimodal_embedding_model`、
    テーブル （
      選択します
        uriとして名前、
        content_typeとしての「テキスト/プレーン」
    ））
  ）.ml_generate_embedding_result as text_emb、
  ml.generate_embeding（
    モデル `project.region.multimodal_embedding_model`、
    テーブル （
      選択します
        Image_refs [offset（0）]。urias uri、
        content_typeとしての「畫(huà)像/jpeg」
      dataset.productsから
    ））
  ）.ml_generate_embedding_result as img_emb
dataset.productsから;

ここでは、製品ごとに2つの埋め込みを生成します。 1つはそれぞれの製品名から、もう1つは最初の畫(huà)像から。どちらも同じマルチモーダル埋め込みモデルを使用して、両方の埋め込みが同じ埋め込みスペースを共有することを保証します。これは、埋め込みの整合に役立ち、シームレスなクロスモーダルの類(lèi)似性を可能にします。

ステップ4：セマンティック検索

さて、一度私たちはクロスモーダルの埋め込みです。セマンティックの類(lèi)似性を使用してそれらをクエリすると、一致するテキストと畫(huà)像クエリが與えられます。

 id、nameを選択します
dataset.product_embedsから
ここでvector_search（
    ml_generate_embedding_result、
    （ml_generate_embedding_resultを選択します 
     ml.generate_embeddingから（
         モデル `project.region.multimodal_embedding_model`、
         テーブル （
           「エコフレンドリーマグ」をURIとして選択します。
                  content_typeとしての「テキスト/プレーン」
         ））
     ））
    ）、、
    TOP_K => 10
））
cosine_simによる注文（img_emb、 
         （ml_generate_embedding_result fromを選択します 
             ml.generate_embeding（
               モデル `project.region.multimodal_embedding_model`、
               テーブル （
                 uriとして「gs：//user/query.jpg」を選択してください。 
                        content_typeとしての「畫(huà)像/jpeg」
               ））
             ））
         ））
      ）DESC;

ここでこのSQLクエリは、2段階の検索を?qū)g行します。候補(bǔ)者をフィルタリングするための最初のテキストからテキストへのセマンティック検索、次に、製品と畫(huà)像とクエリの間の畫(huà)像間の類(lèi)似性によって注文します。これにより、フレーズと畫(huà)像を入力し、意味的に一致する製品を取得できるように、検索機(jī)能の向上に役立ちます。

マルチモーダルデータ分析の利點(diǎn)

マルチモーダルデータ分析は、複數(shù)のデータ型を統(tǒng)一された分析構(gòu)造に統(tǒng)合することにより、組織が利用可能なさまざまなデータから価値を得る方法を変えています。このアプローチの価値は、異なるモダリティの強(qiáng)度の組み合わせに由來(lái)します。これは、個(gè)別に考慮されると、マルチモーダル分析の既存の標(biāo)準(zhǔn)的な方法よりも効果的な洞察が低下することに由來(lái)しています。

より深い洞察：マルチモーダル統(tǒng)合は、単一モーダル分析で見(jiàn)逃された複雑な関係と相互作用を明らかにします。異なるデータ型（テキスト、畫(huà)像、オーディオ、數(shù)値データ）間の相関を調(diào)査すると同時(shí)に、隠されたパターンと依存関係を識(shí)別し、調(diào)査されている現(xiàn)象の深い理解を開(kāi)発します。

パフォーマンスの向上：マルチモーダルモデルは、単一モーダルアプローチよりも精度が向上したことを示しています。この冗長(zhǎng)性は、1つまたはMODALがエントリの欠落や不完全なエントリなどのデータに何らかのノイズがある場(chǎng)合でも、同様の正確な結(jié)果を生成する強(qiáng)力な分析システムを構(gòu)築します。

より速い時(shí)間?。?/strong> SQL融合機(jī)能は、急速に利用可能なデータソースへの迅速なアクセスから洞察を提供するサポートをサポートするため、プロトタイピングと分析ワークフローの有効性と速度を向上させます。このタイプのアクティビティは、インテリジェントな自動(dòng)化とユーザーエクスペリエンスのためのあらゆるタイプの新しい機(jī)會(huì)を促進(jìn)します。