> 我們需要：

>
• tavely搜索：用於無縫的Web搜索集成。
Phidata：編排代理系統(tǒng)並管理工作流程。 >
• 簡化：創(chuàng)建一個用戶友好的Web應用程序。
• 步驟2：API設(shè)置和配置

!pip install phidata google-generativeai tavily-python streamlit pillow

獲取API鍵 Gemini API鍵：

http://miracleart.cn/link/link/c73ff6dceadef3652d678cd790ff167 >步驟3：系統(tǒng)提示和說明
• 明確的說明對於最佳LLM性能至關(guān)重要。 我們將定義代理人的角色和責任：

from phi.agent import Agent
from phi.model.google import Gemini # needs a api key
from phi.tools.tavily import TavilyTools # also needs a api key

import os
TAVILY_API_KEY = "<replace-your-api-key>"
GOOGLE_API_KEY = "<replace-your-api-key>"
os.environ['TAVILY_API_KEY'] = TAVILY_API_KEY
os.environ['GOOGLE_API_KEY'] = GOOGLE_API_KEY</replace-your-api-key></replace-your-api-key>

步驟4：定義代理對象>

SYSTEM_PROMPT = """
You are an expert Food Product Analyst specialized in ingredient analysis and nutrition science. 
Your role is to analyze product ingredients, provide health insights, and identify potential concerns by combining ingredient analysis with scientific research. 
You utilize your nutritional knowledge and research works to provide evidence-based insights, making complex ingredient information accessible and actionable for users.
Return your response in Markdown format. 
"""

INSTRUCTIONS = """
* Read ingredient list from product image 
* Remember the user may not be educated about the product, break it down in simple words like explaining to 10 year kid
* Identify artificial additives and preservatives
* Check against major dietary restrictions (vegan, halal, kosher). Include this in response. 
* Rate nutritional value on scale of 1-5
* Highlight key health implications or concerns
* Suggest healthier alternatives if needed
* Provide brief evidence-based recommendations
* Use Search tool for getting context
"""

步驟5：多模式圖像處理

agent = Agent(
    model = Gemini(),
    tools = [TavilyTools()],
    markdown=True,
    system_prompt = SYSTEM_PROMPT,
    instructions = INSTRUCTIONS
)

> 創(chuàng)建一個簡化的應用程序，以提供一個用戶友好的接口，以進行圖像上傳，分析和結(jié)果顯示。 該應用程序包括示例產(chǎn)品，圖像上傳和實時照片捕獲的選項卡。 圖像調(diào)整大小和緩存是為最佳性能實施的。

基本鏈接

完整代碼：[insert github鏈接在此處]

>部署的應用程序：[插入部署的應用鏈接在此處] >

結(jié)論

多模式A??I代理正在改變我們與復雜信息的互動和理解的方式。 產(chǎn)品成分分析儀展示了將視覺，語言和網(wǎng)絡搜索相結(jié)合以提供可訪問的，可操作的見解的力量。

>常見問題

• Q1。開源多模式視覺語言模型：llava，pixtral-12b，多模式-GPT，NVILA和QWEN是示例。
• Q2。 Llama 3多模式嗎？ ：是的，Llama 3和Llama 3.2視覺模型是多模式的。
• Q3。多模式LLM與多模式代理： llm處理多模式數(shù)據(jù)；代理使用LLM和其他工具來執(zhí)行任務並根據(jù)多模式輸入做出決策。
記住用實際的API鍵代替佔位符。 應添加完整的代碼和部署的應用鏈接，以獲取完整且功能指南。