Sistem generasi pengambilan semula multimodal (RAG) merevolusi AI dengan mengintegrasikan pelbagai jenis data-teks, imej, audio, dan video-untuk respons yang lebih nuanced dan konteks. Ini melampaui kain tradisional, yang hanya memberi tumpuan kepada teks. Kemajuan utama adalah embeddings penglihatan nomik, mewujudkan ruang bersatu untuk data visual dan tekstual, yang membolehkan interaksi silang modal lancar. Model lanjutan menjana embeddings berkualiti tinggi, meningkatkan pengambilan maklumat dan merapatkan jurang antara bentuk kandungan yang berbeza, akhirnya memperkayakan pengalaman pengguna.

Objektif Pembelajaran

memahami asas -asas kain multimodal dan kelebihannya terhadap kain tradisional.
memahami peranan embeddings penglihatan nomik dalam menyatukan teks dan ruang embedding imej.
Bandingkan embeddings penglihatan nomik dengan model klip, menganalisis penanda aras prestasi.
Melaksanakan sistem RAG multimodal dalam python menggunakan penglihatan nomik dan embedding teks.
belajar untuk mengekstrak dan memproses data teks dan visual dari PDF untuk pengambilan semula multimodal.

*Artikel ini adalah sebahagian daripada Blogathon Sains Data *** . Jadual Kandungan

Apa itu kain multimodal?

Nomic Vision Embeddings

• Penanda aras prestasi Nomic Vision Embeddings
• pelaksanaan python hands-on rag multimodal dengan embeddings penglihatan nomik
• Langkah 1: Memasang perpustakaan yang diperlukan
• Langkah 2: Menetapkan Kunci API Terbuka dan Mengimport Perpustakaan
  • Langkah 3: Mengekstrak imej dari pdf
  • Langkah 4: Mengekstrak teks dari pdf
  • Langkah 5: Menyimpan Teks dan Imej Diekstrak
  • Langkah 6: Chunking Data Text
  • Langkah 7: Memuatkan model penyembuhan nomik
  • Langkah 8: Menjana Embeddings
  • Langkah 9: Menyimpan embeddings teks dalam qdrant
  • Langkah 10: Menyimpan embeddings imej dalam qdrant
  • Langkah 11: Mewujudkan Retriever Multimodal
  • Langkah 12: Membina kain multimodal dengan langchain
  • Menanyakan model
  Kesimpulan
• Soalan Lazim
Apa itu kain multimodal?
RAG multimodal mewakili kemajuan AI yang signifikan, membina kain tradisional dengan menggabungkan pelbagai jenis data. Tidak seperti sistem konvensional yang terutamanya mengendalikan teks, proses RAG multimodal dan mengintegrasikan pelbagai bentuk data secara serentak. Ini membawa kepada pemahaman yang lebih komprehensif dan tindak balas konteks yang menyadari modaliti yang berbeza.

Komponen RAG Multimodal Key:

• Pengambilan data: Data dari pelbagai sumber ditelan menggunakan pemproses khusus, memastikan pengesahan, pembersihan, dan normalisasi.
Perwakilan vektor
• : modaliti diproses menggunakan rangkaian saraf (mis., Klip untuk imej, bert untuk teks) untuk membuat embeddings vektor bersatu, memelihara hubungan semantik.
Penyimpanan pangkalan data vektor vektor
• embeddings disimpan dalam pangkalan data vektor yang dioptimumkan (mis., QDrant) Menggunakan teknik pengindeksan (HNSW, Faiss) untuk mendapatkan semula yang cekap.
Pemprosesan pertanyaan:
• Pertanyaan masuk dianalisis, diubah menjadi ruang vektor yang sama seperti data yang disimpan, dan digunakan untuk mengenal pasti modaliti yang relevan dan menghasilkan embeddings untuk mencari.
Nomic Vision Embeddings

Embeddings Vision Nomic adalah inovasi utama, mewujudkan ruang embedding bersatu untuk data visual dan teks. Nomic Embed Vision V1 dan V1.5, yang dibangunkan oleh Nomic AI, berkongsi ruang laten yang sama seperti rakan teks mereka (Nomic Embed Text V1 dan V1.5). Ini menjadikan mereka sesuai untuk tugas multimodal seperti pengambilan teks kepada imej. Dengan kiraan parameter yang agak kecil (92m), visi embed nomik adalah cekap untuk aplikasi berskala besar.

Mengatasi batasan model klip:

Walaupun klip cemerlang dalam keupayaan sifar-tembakan, pengekod teksnya kurang baik dalam tugas-tugas di luar pengambilan imej (seperti yang ditunjukkan dalam penanda aras MTEB). Penglihatan Nomic Embed menangani ini dengan menyelaraskan pengekod penglihatannya dengan ruang laten teks Nomic Embed.

Penglihatan Nomic Embed dilatih bersama teks Nomic Embed, membekukan pengekod teks dan melatih pengekod penglihatan pada pasangan teks imej. Ini memastikan hasil yang optimum dan keserasian mundur dengan embeddings teks embed nomik.

Penanda aras prestasi Nomic Vision Embeddings

Model klip, sementara yang mengagumkan dalam keupayaan sifar-tembakan, menunjukkan kelemahan dalam tugas-tugas yang tidak sama seperti persamaan semantik (penanda aras MTEB). Penglihatan Nomic Embed mengatasi ini dengan menjajarkan pengekod visi dengan ruang laten teks Nomic Embed, menghasilkan prestasi yang kuat di seluruh imej, teks, dan tugas multimodal (ImageNet Zero-shot, MTEB, Penanda Aras DataComp).

pelaksanaan python hands-on rag multimodal dengan embeddings penglihatan nomik

Tutorial ini membina sistem RAG multimodal yang mengambil maklumat dari PDF yang mengandungi teks dan imej (menggunakan Google Colab dengan T4 GPU).

Langkah 1: Memasang perpustakaan

Pasang perpustakaan Python yang diperlukan: Openai, QDrant, Transformers, Obor, Pymupdf, dan lain -lain (Kod ditinggalkan untuk keringkasan, tetapi hadir di asal.)

Langkah 2: Menetapkan Kunci API Terbuka dan Mengimport Perpustakaan

Tetapkan kunci API OpenAI dan import yang diperlukan perpustakaan (PYMUPDF, PIL, LANGCHAIN, OPENAI, dan lain -lain). (Kod yang ditinggalkan untuk keringkasan.)

Langkah 3: Mengekstrak imej dari pdf

Ekstrak imej dari PDF menggunakan pymupdf dan simpannya ke direktori. (Kod yang ditinggalkan untuk keringkasan.)

Langkah 4: Mengekstrak teks dari pdf

Ekstrak teks dari setiap halaman pdf menggunakan pymupdf. (Kod yang ditinggalkan untuk keringkasan.)

Langkah 5: Menyimpan data yang diekstrak

Simpan imej dan teks yang diekstrak. (Kod yang ditinggalkan untuk keringkasan.)

Langkah 6: Chunking Data Text

Pecahkan teks yang diekstrak ke dalam ketulan yang lebih kecil menggunakan Langchain's RecursiveCharacterTextSplitter. (Kod yang ditinggalkan untuk keringkasan.)

Langkah 7: Memuatkan model penyembuhan nomik

Load Nomic's Text and Vision Embedding Models menggunakan Transformers Face Hugging. (Kod yang ditinggalkan untuk keringkasan.)

Langkah 8: Menjana Embeddings

menghasilkan teks dan embeddings imej. (Kod yang ditinggalkan untuk keringkasan.)

Langkah 9: Menyimpan embeddings teks dalam qdrant

Embeddings Text Store dalam koleksi qdrant. (Kod yang ditinggalkan untuk keringkasan.)

Langkah 10: Menyimpan embeddings imej dalam qdrant

Embeddings Image Store dalam koleksi QDrant yang berasingan. (Kod yang ditinggalkan untuk keringkasan.)

Langkah 11: Mewujudkan Retriever Multimodal

Buat fungsi untuk mendapatkan teks dan embeddings imej yang berkaitan berdasarkan pertanyaan. (Kod yang ditinggalkan untuk keringkasan.)

Langkah 12: Membina kain multimodal dengan langchain

Gunakan Langchain untuk memproses data yang diambil dan menghasilkan respons menggunakan model bahasa (mis., GPT-4). (Kod yang ditinggalkan untuk keringkasan.)

Menanyakan model

Pertanyaan contoh menunjukkan keupayaan sistem untuk mendapatkan maklumat dari kedua -dua teks dan imej dalam PDF. (Contoh pertanyaan dan output yang ditinggalkan untuk keringkasan, tetapi hadir dalam asal.)

Kesimpulan

Embeddings Visi Nomic dengan ketara meningkatkan kain multimodal, membolehkan interaksi lancar antara data visual dan teks. Ini menangani batasan model seperti klip, menyediakan ruang embedding bersatu dan prestasi yang lebih baik dalam pelbagai tugas. Ini membawa kepada pengalaman pengguna yang lebih kaya dan lebih terperinci dalam persekitaran pengeluaran.

Takeaways Key

• RAG Multimodal mengintegrasikan pelbagai jenis data untuk pemahaman yang lebih komprehensif.
• Embeddings Visi Nomic menyatukan data visual dan teks untuk pengambilan maklumat yang lebih baik.
• Sistem ini menggunakan pemprosesan khusus, perwakilan vektor, dan penyimpanan untuk pengambilan semula yang cekap.
• Penglihatan Nomic Embed Mengatasi Keterbatasan Klip dalam Tugas Unimodal.

Soalan Lazim

(Soalan Lazim yang ditinggalkan untuk keringkasan, tetapi hadir di asal.)

NOTA: Coretan kod telah ditinggalkan untuk keringkasan, tetapi fungsi dan langkah teras tetap diterangkan dengan tepat. Input asal mengandungi kod yang luas; Termasuk semuanya akan membuat respons ini terlalu lama. Rujuk input asal untuk pelaksanaan kod lengkap.

Atas ialah kandungan terperinci Meningkatkan Sistem RAG dengan Pembasmian Nomik. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!