Pendekatan data tunggal modal tradisional sering kehilangan pandangan penting yang terdapat dalam hubungan silang modal. Analisis multi-modal menyatukan pelbagai sumber data, seperti teks, imej, audio, dan data yang lebih serupa untuk memberikan pandangan yang lebih lengkap mengenai isu. Analisis data multi-modal ini dipanggil analisis data multi-modal, dan ia meningkatkan ketepatan ramalan dengan memberikan pemahaman yang lebih lengkap tentang isu-isu di tangan sambil membantu mengungkap hubungan rumit yang terdapat di seluruh modaliti data.

Oleh kerana populariti pembelajaran mesin multimodal yang semakin meningkat, adalah penting untuk menganalisis data berstruktur dan tidak berstruktur untuk menjadikan ketepatan kami lebih baik. Artikel ini akan meneroka analisis data pelbagai modal dan konsep penting dan aliran kerja untuk analisis berbilang modal.

Jadual Kandungan

• Memahami data pelbagai modal
• Apakah analisis data pelbagai -modal?
• Pra -proses dan perwakilan data
  • Pengekstrakan ciri
  • Model perwakilan
• Teknik Fusion
  • Strategi Fusion Awal
  • Metodologi Fusion Lewat
  • Pendekatan gabungan pertengahan
• Sampel aliran kerja akhir -ke -akhir
  • Langkah 1: Buat jadual objek
  • Langkah 2: Rujukan dalam jadual berstruktur
  • Langkah 3: Menjana embeddings
  • Langkah 4: Pengambilan Semantik
• Faedah analisis data pelbagai modal
• Kesimpulan

Memahami data pelbagai modal

Data multimodal bermaksud data yang menggabungkan maklumat dari dua atau lebih sumber atau modaliti yang berbeza. Ini boleh menjadi gabungan teks, imej, bunyi, video, nombor, dan data sensor. Sebagai contoh, jawatan di media sosial, yang boleh menjadi gabungan teks dan imej, atau rekod perubatan yang mengandungi nota yang ditulis oleh doktor, x-ray, dan pengukuran tanda-tanda penting, adalah data multimodal.

Analisis data multimodal memerlukan kaedah khusus yang dapat secara tersirat memodelkan saling ketergantungan dari pelbagai jenis data. Titik penting dalam sistem AI moden adalah untuk menganalisis idea-idea mengenai gabungan yang boleh mempunyai pemahaman dan kuasa ramalan yang lebih kaya daripada pendekatan berasaskan satu modaliti. Ini amat penting untuk memandu autonomi, diagnosis penjagaan kesihatan, sistem pengesyorkan, dll.

Apakah analisis data pelbagai -modal?

Analisis data multimodal adalah satu set kaedah dan teknik analisis untuk meneroka dan mentafsirkan dataset, termasuk pelbagai jenis perwakilan. Pada asasnya, ia merujuk kepada penggunaan kaedah analisis khusus untuk mengendalikan jenis data yang berbeza seperti teks, imej, audio, video, dan data berangka untuk mencari dan menemui corak tersembunyi atau hubungan antara modaliti. Ini membolehkan pemahaman yang lebih lengkap atau memberikan penerangan yang lebih baik daripada analisis berasingan jenis sumber yang berbeza.

Kesukaran utama terletak pada reka bentuk teknik yang membolehkan gabungan dan penjajaran maklumat yang cekap dari pelbagai modaliti. Penganalisis mesti bekerja dengan semua jenis data, struktur, skala, dan format untuk permukaan makna dalam data dan untuk mengenali corak dan hubungan di seluruh perniagaan. Dalam tahun-tahun kebelakangan ini, kemajuan dalam teknik pembelajaran mesin, terutamanya model pembelajaran yang mendalam, telah mengubah keupayaan analisis pelbagai modal. Pendekatan seperti mekanisme perhatian dan model pengubah dapat mempelajari hubungan silang modal terperinci.

Pra -proses dan perwakilan data

Untuk menganalisis data multimodal dengan berkesan, data harus terlebih dahulu ditukar menjadi perwakilan berangka yang serasi dan mengekalkan maklumat utama tetapi juga dapat dibandingkan di seluruh modaliti. Langkah pra-pemprosesan ini penting untuk gabungan yang baik dan analisis sumber data heterogen.

Pengekstrakan ciri

Pengekstrakan ciri adalah transformasi data mentah ke dalam satu set ciri yang bermakna. Ini kemudiannya boleh digunakan oleh pembelajaran mesin dan model pembelajaran mendalam dengan cara yang baik dan cekap. Ia bertujuan untuk mengekstrak dan mengenal pasti ciri -ciri atau corak yang paling penting dari data, untuk menjadikan tugas -tugas model lebih mudah. Beberapa kaedah pengekstrakan ciri yang paling banyak digunakan ialah:

• Teks: Ini mengenai menukar kata -kata ke dalam nombor (iaitu, vektor). Ini boleh dilakukan dengan TF-IDF jika bilangan perkataan lebih kecil, dan embeddings seperti Bert atau OpenAI untuk penangkapan hubungan semantik.
• Imej: Ia boleh dilakukan dengan menggunakan rangkaian CNN yang terlatih seperti pengaktifan ResNet atau VGG. Algoritma ini dapat menangkap corak hierarki dari tepi peringkat rendah dalam imej ke konsep semantik peringkat tinggi.
• Audio: Pengkomputeran Audio Isyarat dengan bantuan spektrogram atau Koefisien CEPSTRAL MEL-frekuensi (MFCC). Transformasi ini menukar isyarat audio temporal dari domain masa ke domain frekuensi. Ini membantu dalam menonjolkan bahagian yang paling penting.
• Siri masa: Menggunakan transformasi Fourier atau gelombang panjang untuk mengubah isyarat temporal ke dalam komponen frekuensi. Transformasi ini membantu mengungkap corak, berkala, dan hubungan temporal dalam data berurutan.

Setiap modaliti tunggal mempunyai sifat intrinsik tersendiri dan dengan itu meminta teknik khusus modaliti untuk mengatasi ciri-ciri khususnya. Pemprosesan teks termasuk tokenizing dan semantik embedding, dan analisis imej menggunakan convolutions untuk mencari corak visual. Perwakilan domain kekerapan dijana daripada isyarat audio, dan maklumat temporal secara matematik ditakrifkan semula untuk mengungkap corak dan tempoh jejak.

Model perwakilan

Model perwakilan membantu dalam mewujudkan rangka kerja untuk mengodkan maklumat pelbagai modal ke dalam struktur matematik, ini membolehkan analisis silang modal dan pemahaman yang lebih mendalam mengenai data. Ini boleh dilakukan dengan menggunakan:

• Embeddings Dikongsi: Mewujudkan ruang laten yang sama untuk semua modaliti dalam satu ruang perwakilan. Orang boleh membandingkan, menggabungkan pelbagai jenis data secara langsung dalam ruang vektor yang sama dengan bantuan pendekatan ini.

• Analisis kanonik: Analisis kanonik membantu dalam mengenal pasti unjuran linear dengan korelasi tertinggi di seluruh modaliti. Ujian statistik ini mengenal pasti dimensi berkorelasi terbaik di pelbagai jenis data, dengan itu membolehkan pemahaman silang modal.

• Kaedah berasaskan graf: Mewakili setiap modaliti sebagai struktur graf dan pelajari embeddings yang memelihara persamaan. Kaedah ini mewakili corak hubungan yang kompleks dan membolehkan analisis berasaskan rangkaian hubungan pelbagai modal.

• Peta Penyebaran: Penyebaran Multi-View menggabungkan struktur geometri intrinsik dan silang-hubungan untuk menjalankan pengurangan dimensi merentasi modaliti. Ia mengekalkan struktur kejiranan tempatan tetapi membolehkan pengurangan dimensi dalam data multi-modal dimensi tinggi.

Model -model ini membina struktur bersatu di mana pelbagai jenis data dapat dibandingkan dan dirangka secara bermakna. Matlamatnya adalah penjanaan kesetaraan semantik di seluruh modaliti untuk membolehkan sistem memahami bahawa imej anjing, perkataan "anjing," dan bunyi menggonggong semua merujuk kepada perkara yang sama, walaupun dalam bentuk yang berbeza.

Teknik Fusion

Dalam bahagian ini, kami akan menyelidiki metodologi utama untuk menggabungkan data multi-modal. Terokai strategi gabungan awal, lewat, dan pertengahan dengan kes penggunaan optimum mereka dari senario analisis yang berbeza.

1. Strategi Fusion Awal

Fusion awal menggabungkan semua data dari pelbagai sumber dan pelbagai jenis bersama pada tahap ciri sebelum pemprosesan bermula. Ini membolehkan algoritma mencari hubungan kompleks tersembunyi antara modaliti yang berbeza secara semulajadi.

Algoritma ini cemerlang terutamanya apabila modaliti berkongsi corak dan hubungan yang sama. Ini membantu dalam menggabungkan ciri -ciri dari pelbagai sumber ke dalam perwakilan gabungan. Kaedah ini memerlukan pengendalian data yang berhati -hati ke dalam skala data dan format yang berbeza untuk berfungsi dengan baik.

2. Metodologi Fusion Lewat

Fusion Late hanya bertentangan dengan gabungan awal, bukannya menggabungkan semua sumber data yang menggabungkannya dengan memproses semua modaliti secara bebas dan kemudian menggabungkannya sebelum model membuat keputusan. Oleh itu, ramalan akhir datang dari output modal individu.

Algoritma ini berfungsi dengan baik apabila modaliti memberikan maklumat tambahan mengenai pembolehubah sasaran. Oleh itu, seseorang boleh memanfaatkan model tunggal modal yang sedia ada tanpa perubahan ketara dalam perubahan seni bina. Kaedah ini menawarkan fleksibiliti dalam mengendalikan nilai modaliti yang hilang semasa fasa ujian.

3. Pendekatan Fusion Pertengahan

Strategi gabungan pertengahan menggabungkan modaliti di pelbagai tahap pemprosesan, bergantung kepada tugas ramalan. Algoritma ini mengimbangi manfaat kedua -dua algoritma gabungan awal dan lewat. Oleh itu, model boleh mempelajari interaksi individu dan silang modal dengan berkesan.

Algoritma ini cemerlang dalam menyesuaikan diri dengan keperluan analisis dan ciri -ciri data tertentu. Oleh itu, mereka sangat baik untuk mengoptimumkan metrik berasaskan fusion dan kekangan pengiraan, dan fleksibiliti ini menjadikannya sesuai untuk menyelesaikan aplikasi dunia yang kompleks.

Sampel aliran kerja akhir -ke -akhir

Dalam bahagian ini, kami akan berjalan melalui aliran kerja SQL sampel yang membina sistem pengambilan semula multimodal dan cuba melakukan carian semantik di BigQuery. Oleh itu, kami akan menganggap bahawa data multimodal kami terdiri daripada teks dan imej sahaja di sini.

Langkah 1: Buat jadual objek

Jadi pertama, tentukan "Jadual Objek Luaran:- Images_OBJ" yang merujuk fail tidak berstruktur dari penyimpanan awan. Ini membolehkan BigQuery untuk merawat fail sebagai data yang boleh dipersoalkan melalui lajur ObjectRef.

 Buat atau ganti dataset jadual luaran.images_obj
Dengan sambungan `project.region.myconn`
Pilihan (
 object_metadata = 'mudah',
 URIS = ['GS: // Bucket/Images/*']
);

Di sini, jadual image_obj secara automatik mendapat lajur ref yang menghubungkan setiap baris ke objek GCS. Ini membolehkan BigQuery menguruskan fail yang tidak berstruktur seperti imej dan fail audio bersama -sama dengan data berstruktur. Semasa memelihara metadata dan kawalan akses.

Langkah 2: Rujukan dalam jadual berstruktur

Di sini kita menggabungkan baris berstruktur dengan ObjectRefs untuk integrasi multimodal. Oleh itu, kami mengumpulkan jadual objek kami dengan menghasilkan atribut dan menghasilkan pelbagai struktur objectRef sebagai image_refs.

 Buat atau ganti dataset Jadual.products sebagai
Pilih
 Id, nama, harga,
 Array_agg (
   Struct (uri, versi, pengarang, butiran)
 ) Sebagai image_refs
Dari image_obj
Kumpulan dengan id, nama, harga;

Langkah ini mewujudkan jadual produk dengan medan berstruktur bersama -sama dengan rujukan imej yang dipautkan, membolehkan embeddings multimodal dalam satu baris.

Langkah 3: Menjana embeddings

Sekarang, kami akan menggunakan BigQuery untuk menjana teks dan embeddings imej di ruang semantik bersama.

 Buat jadual dataset.product_embeds sebagai
Pilih
  id,
  Ml.generate_embedding (
    Model `projek.region.multimodal_embedding_model`,
    Jadual (
      Pilih
        nama sebagai uri,
        'teks/kosong' sebagai content_type
    )
  ) .ml_generate_embedding_result sebagai text_emb,
  Ml.generate_embedding (
    Model `projek.region.multimodal_embedding_model`,
    Jadual (
      Pilih
        image_refs [offset (0)]. uri sebagai uri,
        'imej/jpeg' sebagai content_type
      Dari dataset.products
    )
  ) .ml_generate_embedding_result sebagai IMG_EMB
Dari dataset.products;

Di sini, kami akan menjana dua embeddings setiap produk. Satu dari nama produk masing -masing dan yang lain dari imej pertama. Kedua -duanya menggunakan model embedding multimodal yang sama memastikan ini adalah untuk memastikan kedua -dua embeddings berkongsi ruang embedding yang sama. Ini membantu menyelaraskan embeddings dan membolehkan persamaan silang modal yang lancar.

Langkah 4: Pengambilan Semantik

Kini, apabila kami embeddings silang modal. Meminta mereka menggunakan persamaan semantik akan memberikan teks dan pertanyaan imej yang sepadan.

 Pilih ID, Nama
Dari dataset.product_embeds
Di mana vector_search (
    ml_generate_embedding_result,
    (Pilih ml_generate_embedding_result 
     Dari ml.generate_embedding (
         Model `projek.region.multimodal_embedding_model`,
         Jadual (
           Pilih "Mug mesra alam" sebagai URI,
                  'teks/kosong' sebagai content_type
         )
     )
    ))
    TOP_K => 10
)
Pesanan oleh Cosine_SIM (IMG_EMB, 
         (Pilih ml_generate_embedding_result dari 
             Ml.generate_embedding (
               Model `projek.region.multimodal_embedding_model`,
               Jadual (
                 Pilih "GS: //user/query.jpg" sebagai URI, 
                        'imej/jpeg' sebagai content_type
               )
             )
         )
      ) Desc;

Pertanyaan SQL ini di sini melakukan carian dua peringkat. Carian semantik berasaskan teks-ke-teks pertama untuk menapis calon, kemudian memerintahkannya dengan persamaan imej-ke-imej antara produk dan imej dan pertanyaan. Ini membantu dalam meningkatkan keupayaan carian supaya anda boleh memasukkan frasa dan imej, dan mengambil produk yang sepadan secara semantik.

Faedah analisis data pelbagai modal

Analisis data multi-modal mengubah cara organisasi mendapatkan nilai dari pelbagai data yang tersedia dengan mengintegrasikan pelbagai jenis data ke dalam struktur analisis bersatu. Nilai pendekatan ini berasal dari gabungan kekuatan modaliti yang berbeza yang apabila dianggap secara berasingan akan memberikan pandangan yang kurang berkesan daripada cara standard yang sedia ada untuk menganalisis pelbagai modal:

Wawasan yang lebih mendalam: Integrasi multimodal mendedahkan hubungan dan interaksi yang rumit yang tidak dijawab oleh analisis tunggal modal. Dengan meneroka korelasi di antara jenis data yang berbeza (teks, imej, audio, dan data angka) pada masa yang sama ia mengenal pasti corak dan kebergantungan tersembunyi dan mengembangkan pemahaman yang mendalam tentang fenomena yang diterokai.

Peningkatan Prestasi: Model multimodal menunjukkan ketepatan yang lebih baik daripada pendekatan tunggal modal. Redundansi ini membina sistem analisis yang kuat yang menghasilkan hasil yang sama dan tepat walaupun satu atau modal mempunyai bunyi bising dalam data seperti penyertaan yang hilang dan penyertaan yang tidak lengkap.

Lebih cepat dari masa ke tahap: Keupayaan gabungan SQL meningkatkan keberkesanan dan kelajuan aliran kerja prototaip dan analisis kerana mereka menyokong memberikan wawasan dari akses pesat ke sumber data yang tersedia dengan cepat. Jenis aktiviti ini menggalakkan semua jenis peluang baru untuk automasi pintar dan pengalaman pengguna.

Skalabiliti: Ia menggunakan keupayaan awan asli untuk kerangka SQL dan Python, membolehkan proses untuk meminimumkan masalah pembiakan sementara juga mempercepatkan metodologi penempatan. Metodologi ini secara khusus menunjukkan bahawa penyelesaian analitik dapat ditingkatkan dengan betul walaupun tahap dinaikkan.

Kesimpulan

Analisis data multi-modal menunjukkan pendekatan revolusioner yang boleh membuka kunci pandangan yang tidak dapat ditandingi dengan menggunakan sumber maklumat yang pelbagai. Organisasi mengamalkan metodologi ini untuk mendapatkan kelebihan daya saing yang signifikan melalui pemahaman yang komprehensif mengenai hubungan kompleks yang pendekatan tunggal modal tidak dapat ditangkap.

Walau bagaimanapun, kejayaan memerlukan pelaburan strategik dan infrastruktur yang sesuai dengan rangka kerja tadbir urus yang mantap. Oleh kerana alat automatik dan platform awan terus memberi akses mudah, para pemohon awal dapat membuat kelebihan kekal dalam bidang ekonomi yang didorong oleh data. Analisis multimodal menjadi penting untuk berjaya dengan data yang kompleks.

Atas ialah kandungan terperinci Apakah analisis data pelbagai modal? - Analytics Vidhya. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!