傳統(tǒng)的單模式數(shù)據(jù)方法通常會錯過跨模式關(guān)系中存在的重要見解。多模式分析匯集了各種數(shù)據(jù)源，例如文本，圖像，音頻和更多類似的數(shù)據(jù)，以提供更完整的問題。該多模式數(shù)據(jù)分析稱為多模式數(shù)據(jù)分析，它通過提供對手頭問題的更完整了解，同時幫助發(fā)現(xiàn)數(shù)據(jù)模式中發(fā)現(xiàn)的復(fù)雜關(guān)系，從而提高了預(yù)測準(zhǔn)確性。

由于多模式機器學(xué)習(xí)的不斷增長，我們必須一起分析結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)以使我們的準(zhǔn)確性更好。本文將探討什么是多模式數(shù)據(jù)分析以及用于多模式分析的重要概念和工作流程。

目錄

• 了解多模式數(shù)據(jù)
• 什么是多模式數(shù)據(jù)分析？
• 數(shù)據(jù)預(yù)處理和表示
  • 特征提取
  • 代表性模型
• 融合技術(shù)
  • 早期融合策略
  • 晚期融合方法
  • 中間融合方法
• 樣本末端工作流程
  • 步驟1：創(chuàng)建對象表
  • 步驟2：結(jié)構(gòu)化表中的參考
  • 步驟3：生成嵌入
  • 步驟4：語義檢索
• 多模式數(shù)據(jù)分析的好處
• 結(jié)論

了解多模式數(shù)據(jù)

多模式數(shù)據(jù)是指結(jié)合來自兩個或更多不同來源或模式的信息的數(shù)據(jù)。這可能是文本，圖像，聲音，視頻，數(shù)字和傳感器數(shù)據(jù)的組合。例如，社交媒體上的帖子可能是文本和圖像的組合，或者是包含臨床醫(yī)生，X射線和生命體征測量值的注釋的病歷是多模式數(shù)據(jù)。

多模式數(shù)據(jù)的分析要求使用專門的方法，這些方法能夠隱式地對不同類型數(shù)據(jù)的相互依賴性進行建?！，F(xiàn)代AI系統(tǒng)中的重要點是分析有關(guān)融合的想法，這些想法比基于單模式的方法具有更豐富的理解和預(yù)測能力。這對于自動駕駛，醫(yī)療保健診斷，推薦系統(tǒng)等尤其重要。

什么是多模式數(shù)據(jù)分析？

多模式數(shù)據(jù)分析是一組分析方法和技術(shù)，用于探索和解釋數(shù)據(jù)集，包括多種類型的表示?；旧希傅氖鞘褂锰囟ǖ姆治龇椒ㄌ幚聿煌臄?shù)據(jù)類型，例如文本，圖像，音頻，視頻和數(shù)值數(shù)據(jù)，以查找和發(fā)現(xiàn)模式之間的隱藏模式或關(guān)系。與對不同源類型的單獨分析相比，這允許更完整的理解或提供更好的描述。

主要困難在于設(shè)計技術(shù)，從而可以有效地融合和對多種方式的信息對齊。分析師必須與所有類型的數(shù)據(jù)，結(jié)構(gòu)，量表和格式一起工作，以在數(shù)據(jù)中表面含義，并在整個業(yè)務(wù)中識別模式和關(guān)系。近年來，機器學(xué)習(xí)技術(shù)的進步，尤其是深度學(xué)習(xí)模型，已經(jīng)改變了多模式分析功能。注意機制和變壓器模型等方法可以學(xué)習(xí)詳細的跨模式關(guān)系。

數(shù)據(jù)預(yù)處理和表示

為了有效地分析多模式數(shù)據(jù)，應(yīng)首先將數(shù)據(jù)轉(zhuǎn)換為兼容并保留關(guān)鍵信息但也可以在跨模態(tài)上比較的數(shù)值表示。此預(yù)處理步驟對于良好的融合和對數(shù)據(jù)源的分析至關(guān)重要。

特征提取

特征提取是將原始數(shù)據(jù)轉(zhuǎn)換為一組有意義的特征。然后，可以通過機器學(xué)習(xí)和深度學(xué)習(xí)模型以良好而有效的方式利用這些方法。它旨在從數(shù)據(jù)中提取和確定最重要的特征或模式，以使模型的任務(wù)更簡單。一些最廣泛使用的特征提取方法是：

• 文字：這是關(guān)于將單詞轉(zhuǎn)換為數(shù)字（即，向量）。如果單詞的數(shù)量較小，則可以使用TF-IDF來完成，并且像Bert或Openai這樣的嵌入語義關(guān)系捕獲。
• 圖像：可以使用預(yù)先訓(xùn)練的CNN網(wǎng)絡(luò)（例如Resnet或VGG激活）完成。這些算法可以從圖像中的低級邊緣到高級語義概念捕獲層次模式。
• 音頻：借助頻譜圖或MEL頻率CEPSTRAL系數(shù)（MFCC）計算音頻信號。這些轉(zhuǎn)換將時間域的時間域轉(zhuǎn)換為頻域。這有助于突出最重要的部分。
• 時間序列：使用傅立葉或波長變換將時間信號更改為頻率組件。這些轉(zhuǎn)換有助于揭示順序數(shù)據(jù)中的模式，周期性和時間關(guān)系。

每種方式都有其自身的內(nèi)在性質(zhì)，因此要求使用特定方式應(yīng)對其特定特征。文本處理包括令牌化和語義嵌入，圖像分析使用卷積來查找視覺模式。頻域表示是根據(jù)音頻信號生成的，并且時間信息在數(shù)學(xué)上重新解釋以揭示痕量模式和周期。

代表性模型

代表性模型有助于創(chuàng)建用于編碼多模式信息到數(shù)學(xué)結(jié)構(gòu)的框架，這可以實現(xiàn)交叉模式分析并進一步深入了解數(shù)據(jù)。這可以使用：

• 共享嵌入：為一個代表空間中的所有方式創(chuàng)建一個共同的潛在空間?？梢栽谶@種方法的幫助下直接將不同類型的數(shù)據(jù)直接在同一矢量空間中進行比較。

• 規(guī)范分析：規(guī)范分析有助于識別跨模態(tài)相關(guān)性最高的線性投影。該統(tǒng)計測試確定了各種數(shù)據(jù)類型的最佳相關(guān)維度，從而允許交叉模式理解。

• 基于圖形的方法：將每種模態(tài)表示為圖形結(jié)構(gòu)，并了解相似性提供相似性的嵌入。這些方法代表復(fù)雜的關(guān)系模式，并允許基于網(wǎng)絡(luò)的多模式關(guān)系分析。

• 擴散圖：多視圖擴散結(jié)合了固有的幾何結(jié)構(gòu)和交叉關(guān)系，以跨模態(tài)降低維度。它保留了當(dāng)?shù)氐泥徖锝Y(jié)構(gòu)，但可以縮小高維多模式數(shù)據(jù)的尺寸。

這些模型構(gòu)建了統(tǒng)一的結(jié)構(gòu)，其中可以比較不同類型的數(shù)據(jù)并有意義地組成。目的是跨模態(tài)的語義對等產(chǎn)生，使系統(tǒng)能夠理解狗的圖像，“狗”一詞和吠叫聲音，都指的是同一件事，盡管以不同的形式。

融合技術(shù)

在本節(jié)中，我們將深入研究組合多模式數(shù)據(jù)的主要方法。探索來自不同分析場景的最佳用例，探索早期，晚和中間融合策略。

1。早期融合策略

早期融合將來自不同來源和不同類型的所有數(shù)據(jù)在處理開始之前的特征級別結(jié)合在一起。這使算法可以自然地找到不同方式之間的隱藏復(fù)雜關(guān)系。

這些算法尤其是在共同的模式和關(guān)系時，尤其是當(dāng)這種算法時。這有助于將各種來源的特征串聯(lián)成組合表示形式。此方法需要將數(shù)據(jù)仔細處理為不同的數(shù)據(jù)量表和格式，以進行正確的功能。

2。晚期融合方法

晚期Fusion的做法與早期融合的相反，而不是將所有數(shù)據(jù)源結(jié)合在一起，而是獨立處理所有模式，然后在模型做出決策之前將它們結(jié)合在一起。因此，最終預(yù)測來自單個模態(tài)輸出。

當(dāng)模式提供有關(guān)目標(biāo)變量的其他信息時，這些算法效果很好。因此，人們可以利用現(xiàn)有的單模式模型，而不會發(fā)生重大變化。該方法在處理測試階段的缺失方式值方面具有靈活性。

3。中級融合方法

中間融合策略將各種處理水平的方式結(jié)合在一起，具體取決于預(yù)測任務(wù)。這些算法平衡了早期和晚期融合算法的好處。因此，模型可以有效地學(xué)習(xí)個人和跨模式相互作用。

這些算法在適應(yīng)特定的分析要求和數(shù)據(jù)特征方面表現(xiàn)出色。因此，他們非常擅長優(yōu)化基于融合的指標(biāo)和計算約束，并且這種靈活性使其適合于解決復(fù)雜的現(xiàn)實世界應(yīng)用。

樣本末端工作流程

在本節(jié)中，我們將瀏覽構(gòu)建多模式檢索系統(tǒng)的示例SQL工作流程，并嘗試在BigQuery中執(zhí)行語義搜索。因此，我們將考慮我們的多模式數(shù)據(jù)僅由文本和圖像組成。

步驟1：創(chuàng)建對象表

因此，首先，定義一個外部“對象表：-images_obj”，該外部從云存儲中引用非結(jié)構(gòu)化文件。這使BigQuery能夠通過ObjectRef列將文件視為可查詢數(shù)據(jù)。

創(chuàng)建或替換外部表dataset.images_obj
使用連接`project.rigion.myconn`
選項 （
 object_metadata ='simple'，
 uris = ['gs：// bucket/images/*']
）；

在這里，表Image_obj自動獲取一個REF列，將每一行鏈接到GCS對象。這允許BigQuery管理非結(jié)構(gòu)化文件，例如圖像和音頻文件以及結(jié)構(gòu)化數(shù)據(jù)。在保留元數(shù)據(jù)和訪問控制的同時。

步驟2：結(jié)構(gòu)化表中的參考

在這里，我們將結(jié)構(gòu)化行與用于多模式集成的ObjectRefs結(jié)合在一起。因此，我們通過產(chǎn)生屬性并生成objectRef structs的數(shù)組作為image_refs來分組我們的對象表。

創(chuàng)建或替換表數(shù)據(jù)集。
選擇
 ID，名稱，價格，
 array_agg（
   struct（URI，版本，授權(quán)器，詳細信息）
 ）作為image_refs
來自images_obj
組成的組，名稱，價格；

此步驟將創(chuàng)建一個帶有結(jié)構(gòu)化字段的產(chǎn)品表以及鏈接的圖像引用，從而使多模式嵌入在單行中。

步驟3：生成嵌入

現(xiàn)在，我們將使用BigQuery在共享的語義空間中生成文本和圖像嵌入。

創(chuàng)建表dataset.product_embeds
選擇
  ID，
  ml.generate_embedding（
    模型`project.region.multimodal_embedding_model`，
    桌子 （
      選擇
        名稱為Uri，
        'text/plain'作為content_type
    ）
  ）.ml_generate_embedding_result as text_emb，
  ml.generate_embedding（
    模型`project.region.multimodal_embedding_model`，
    桌子 （
      選擇
        image_refs [offset（0）]。uri為uri，
        'image/jpeg'為content_type
      來自Dataset.Froducts
    ）
  ）.ml_generate_embedding_result作為img_emb
來自dataset.products;

在這里，我們將每產(chǎn)品生成兩個嵌入。一個來自相應(yīng)的產(chǎn)品名稱，另一個來自第一個圖像。兩者都使用相同的多模式嵌入模型，以確保這是確保兩個嵌入式共享相同的嵌入空間。這有助于對齊嵌入，并允許無縫的跨模式相似性。

步驟4：語義檢索

現(xiàn)在，一旦我們將跨模式嵌入。使用語義相似性查詢它們將提供匹配的文本和圖像查詢。

選擇ID，名稱
來自dataset.product_embeds
vector_search的位置（
    ml_generate_embedding_result，
    （選擇ml_generate_embedding_result 
     來自ml.generate_embedding（
         模型`project.region.multimodal_embedding_model`，
         桌子 （
           選擇“環(huán)保杯子”作為URI，
                  'text/plain'作為content_type
         ）
     ）
    ），
    top_k => 10
）
cosine_sim訂購（img_emb， 
         （從中選擇ml_generate_embedding_result 
             ml.generate_embedding（
               模型`project.region.multimodal_embedding_model`，
               桌子 （
                 選擇“ gs：//user/query.jpg”作為uri， 
                        'image/jpeg'為content_type
               ）
             ）
         ）
      ）desc;

此SQL查詢此處執(zhí)行了兩階段搜索。首先基于文本到文本的語義搜索以過濾候選者，然后通過產(chǎn)品和圖像與查詢之間的圖像對圖像相似性訂購。這有助于提高搜索功能，因此您可以輸入短語和圖像，并檢索與語義匹配的產(chǎn)品。

多模式數(shù)據(jù)分析的好處

多模式數(shù)據(jù)分析正在通過將多種數(shù)據(jù)類型集成到統(tǒng)一的分析結(jié)構(gòu)中，從而改變組織從可用數(shù)據(jù)中獲得價值的方式。這種方法的價值來自不同方式的優(yōu)勢的組合，而當(dāng)考慮單獨考慮時，與現(xiàn)有的多模式分析的標(biāo)準(zhǔn)方法相比，它提供的有效見解較低：

更深入的見解：多模式整合發(fā)現(xiàn)了單模式分析所遺漏的復(fù)雜關(guān)系和相互作用。通過探索不同數(shù)據(jù)類型（文本，圖像，音頻和數(shù)字數(shù)據(jù)）之間的相關(guān)性，同時它可以識別隱藏的模式和依賴關(guān)系，并對所探索的現(xiàn)象產(chǎn)生深刻的理解。

性能提高：多模型模型比單模式方法顯示出更高的精度。這種冗余構(gòu)建了強大的分析系統(tǒng)，即使一個或模態(tài)在數(shù)據(jù)中有一些噪音，例如缺失條目和不完整的條目，也會產(chǎn)生相似和準(zhǔn)確的結(jié)果。

更快的診斷時間： SQL融合功能提高了原型和分析工作流程的有效性和速度，因為它們支持從快速訪問快速可用的數(shù)據(jù)源的洞察力。這種類型的活動鼓勵所有類型的智能自動化和用戶體驗的新機會。

可伸縮性：它對SQL和Python框架使用本機云功能，從而使過程能夠最大程度地減少生殖問題，同時也加速了部署方法。該方法特別表明，盡管水平提高，但可以正確縮放分析解決方案。

結(jié)論

多模式數(shù)據(jù)分析顯示革命性方法可以通過使用多種信息源來解鎖無與倫比的見解。組織通過對單模式方法無法捕獲的復(fù)雜關(guān)系的全面理解，采用這些方法來獲得重要的競爭優(yōu)勢。

但是，成功需要具有強大的治理框架的戰(zhàn)略投資和適當(dāng)?shù)幕A(chǔ)設(shè)施。隨著自動化工具和云平臺繼續(xù)輕松訪問，早期采用者可以在數(shù)據(jù)驅(qū)動的經(jīng)濟領(lǐng)域中獲得永恒的優(yōu)勢。多模式分析對于成功使用復(fù)雜數(shù)據(jù)而變得迅速變得重要。

以上是什么是多模式數(shù)據(jù)分析？ - 分析Vidhya的詳細內(nèi)容。更多信息請關(guān)注PHP中文網(wǎng)其他相關(guān)文章！