在YARN上提交PyFlink作業(yè)時(shí)，為什麼會(huì)報(bào)錯(cuò)無(wú)法找到Python腳本？
Apr 19, 2025 pm 02:06 PM
PyFlink作業(yè)在YARN上提交失?。篜ython腳本缺失原因分析及解決方法
使用YARN提交PyFlink作業(yè)時(shí)，可能會(huì)遇到找不到Python腳本的錯(cuò)誤，例如：
<code>2024-05-24 16:38:02,030 info org.apache.flink.client.python.pythondriver [] - pyflink181.zip/pyflink181/bin/python: can't open file 'hdfs://nameservice1/pyflink/wc2.py': [errno 2] no such file or directory</code>
這通常發(fā)生在使用以下類似命令時(shí)：
./flink run-application -t yarn-application \ -dyarn.application.name=flinkcdctestpython \ -dyarn.provided.lib.dirs="hdfs://nameservice1/pyflink/flink-dist-181" \ -pyarch hdfs://nameservice1/pyflink/pyflink181.zip \ -pyclientexec pyflink181.zip/pyflink181/bin/python \ -pyexec pyflink181.zip/pyflink181/bin/python \ -py hdfs://nameservice1/pyflink/wc2.py
與之對(duì)比，Java作業(yè)提交則通常不會(huì)出現(xiàn)問(wèn)題：
./flink run-application -t yarn-application \ -djobmanager.memory.process.size=1024m \ -dtaskmanager.memory.process.size=1024m \ -dyarn.application.name=flinkcdctest \ -dyarn.provided.lib.dirs="hdfs://nameservice1/pyflink/flink-dist-181" \ hdfs://nameservice1/pyflink/statemachineexample.jar
Java作業(yè)成功提交，說(shuō)明HDFS配置正確，問(wèn)題在於PyFlink作業(yè)的Python腳本路徑或配置。
排查及解決步驟
驗(yàn)證Python腳本路徑:使用
hdfs dfs -ls hdfs://nameservice1/pyflink/wc2.py命令檢查腳本wc2.py是否存在於指定的HDFS路徑。如果不存在，請(qǐng)確保正確上傳腳本到該路徑。檢查PyFlink配置:仔細(xì)檢查
-pyarch、-pyclientexec和-pyexec參數(shù)，確保它們準(zhǔn)確指向PyFlink環(huán)境和Python解釋器。pyflink181.zip必須包含所有必要的Python庫(kù)和執(zhí)行環(huán)境。權(quán)限問(wèn)題:使用
hdfs dfs -ls -h hdfs://nameservice1/pyflink/wc2.py查看腳本的HDFS權(quán)限。 如果權(quán)限不足，使用hdfs dfs -chmod 755 hdfs://nameservice1/pyflink/wc2.py修改權(quán)限，確保YARN和Flink用戶擁有讀取權(quán)限。日誌分析:啟用Flink和YARN的詳細(xì)日誌記錄，分析錯(cuò)誤日誌以獲取更具體的錯(cuò)誤信息和發(fā)生位置。
Python環(huán)境兼容性:確保PyFlink使用的Python版本與開(kāi)發(fā)腳本時(shí)使用的版本一致，避免版本不兼容導(dǎo)致腳本無(wú)法識(shí)別或執(zhí)行。
通過(guò)以上步驟，系統(tǒng)地排查問(wèn)題，並根據(jù)實(shí)際情況調(diào)整配置，即可解決PyFlink作業(yè)在YARN上提交時(shí)找不到Python腳本的問(wèn)題。 如果問(wèn)題仍然存在，請(qǐng)?zhí)峁└敿?xì)的Flink和YARN日誌信息以便進(jìn)一步分析。
以上是在YARN上提交PyFlink作業(yè)時(shí)，為什麼會(huì)報(bào)錯(cuò)無(wú)法找到Python腳本？的詳細(xì)內(nèi)容。更多資訊請(qǐng)關(guān)注PHP中文網(wǎng)其他相關(guān)文章！
熱AI工具
Undress AI Tool
免費(fèi)脫衣圖片
Undresser.AI Undress
人工智慧驅(qū)動(dòng)的應(yīng)用程序，用於創(chuàng)建逼真的裸體照片
AI Clothes Remover
用於從照片中去除衣服的線上人工智慧工具。
Clothoff.io
AI脫衣器
Video Face Swap
使用我們完全免費(fèi)的人工智慧換臉工具，輕鬆在任何影片中換臉！
熱門(mén)文章
熱工具
記事本++7.3.1
好用且免費(fèi)的程式碼編輯器
SublimeText3漢化版
中文版，非常好用
禪工作室 13.0.1
強(qiáng)大的PHP整合開(kāi)發(fā)環(huán)境
Dreamweaver CS6
視覺(jué)化網(wǎng)頁(yè)開(kāi)發(fā)工具
SublimeText3 Mac版
神級(jí)程式碼編輯軟體(SublimeText3)
熱門(mén)話題
如何處理Python中的API身份驗(yàn)證
Jul 13, 2025 am 02:22 AM
處理API認(rèn)證的關(guān)鍵在於理解並正確使用認(rèn)證方式。 1.APIKey是最簡(jiǎn)單的認(rèn)證方式，通常放在請(qǐng)求頭或URL參數(shù)中；2.BasicAuth使用用戶名和密碼進(jìn)行Base64編碼傳輸，適合內(nèi)部系統(tǒng)；3.OAuth2需先通過(guò)client_id和client_secret獲取Token，再在請(qǐng)求頭中帶上BearerToken；4.為應(yīng)對(duì)Token過(guò)期，可封裝Token管理類自動(dòng)刷新Token；總之，根據(jù)文檔選擇合適方式，並安全存儲(chǔ)密鑰信息是關(guān)鍵。
在Python中訪問(wèn)嵌套的JSON對(duì)象
Jul 11, 2025 am 02:36 AM
在Python中訪問(wèn)嵌套JSON對(duì)象的方法是先明確結(jié)構(gòu)，再逐層索引。首先確認(rèn)JSON的層級(jí)關(guān)係，例如字典嵌套字典或列表；接著使用字典鍵和列表索引逐層訪問(wèn)，如data"details"["zip"]獲取zip編碼，data"details"[0]獲取第一個(gè)愛(ài)好；為避免KeyError和IndexError，可用.get()方法設(shè)置默認(rèn)值，或封裝函數(shù)safe_get實(shí)現(xiàn)安全訪問(wèn)；對(duì)於復(fù)雜結(jié)構(gòu)，可遞歸查找或使用第三方庫(kù)如jmespath處理。
如何用Python測(cè)試API
Jul 12, 2025 am 02:47 AM
要測(cè)試API需使用Python的Requests庫(kù)，步驟為安裝庫(kù)、發(fā)送請(qǐng)求、驗(yàn)證響應(yīng)、設(shè)置超時(shí)與重試。首先通過(guò)pipinstallrequests安裝庫(kù)；接著用requests.get()或requests.post()等方法發(fā)送GET或POST請(qǐng)求；然後檢查response.status_code和response.json()確保返回結(jié)果符合預(yù)期；最後可添加timeout參數(shù)設(shè)置超時(shí)時(shí)間，並結(jié)合retrying庫(kù)實(shí)現(xiàn)自動(dòng)重試以增強(qiáng)穩(wěn)定性。
Python函數(shù)可變範(fàn)圍
Jul 12, 2025 am 02:49 AM
在Python中，函數(shù)內(nèi)部定義的變量是局部變量，僅在函數(shù)內(nèi)有效；外部定義的是全局變量，可在任何地方讀取。 1.局部變量隨函數(shù)執(zhí)行結(jié)束被銷毀；2.函數(shù)可訪問(wèn)全局變量但不能直接修改，需用global關(guān)鍵字；3.嵌套函數(shù)中若要修改外層函數(shù)變量，需使用nonlocal關(guān)鍵字；4.同名變量在不同作用域互不影響；5.修改全局變量時(shí)必須聲明global，否則會(huì)引發(fā)UnboundLocalError錯(cuò)誤。理解這些規(guī)則有助於避免bug並寫(xiě)出更可靠的函數(shù)。
使用Python async/等待實(shí)施異步編程
Jul 11, 2025 am 02:41 AM
異步編程在Python中通過(guò)async和await關(guān)鍵字變得更加易用。它允許編寫(xiě)非阻塞代碼以並發(fā)處理多項(xiàng)任務(wù)，尤其適用於I/O密集型操作。 asyncdef定義了一個(gè)可暫停和恢復(fù)的協(xié)程，而await用於等待任務(wù)完成而不阻塞整個(gè)程序。運(yùn)行異步代碼需使用事件循環(huán)，推薦使用asyncio.run()啟動(dòng)，並發(fā)執(zhí)行多個(gè)協(xié)程時(shí)可用asyncio.gather()。常見(jiàn)模式包括同時(shí)獲取多個(gè)URL數(shù)據(jù)、文件讀寫(xiě)及網(wǎng)絡(luò)服務(wù)處理。注意事項(xiàng)包括：需使用支持異步的庫(kù)如aiohttp；CPU密集型任務(wù)不適用異步；避免混合
Python Fastapi教程
Jul 12, 2025 am 02:42 AM
要使用Python創(chuàng)建現(xiàn)代高效的API，推薦使用FastAPI；其基於標(biāo)準(zhǔn)Python類型提示，可自動(dòng)生成文檔，性能優(yōu)越。安裝FastAPI和ASGI服務(wù)器uvicorn後，即可編寫(xiě)接口代碼。通過(guò)定義路由、編寫(xiě)處理函數(shù)並返回?cái)?shù)據(jù)，可以快速構(gòu)建API。 FastAPI支持多種HTTP方法，並提供自動(dòng)生成的SwaggerUI和ReDoc文檔系統(tǒng)。 URL參數(shù)可通過(guò)路徑定義捕獲，查詢參數(shù)則通過(guò)函數(shù)參數(shù)設(shè)置默認(rèn)值實(shí)現(xiàn)。合理使用Pydantic模型有助於提升開(kāi)發(fā)效率和準(zhǔn)確性。
為什麼香港是穩(wěn)定幣的最佳發(fā)行場(chǎng)所
Jul 11, 2025 pm 06:45 PM
香港成為全球穩(wěn)定幣發(fā)行首選地，因其具備五大核心優(yōu)勢(shì)。 1. 明確且積極的監(jiān)管框架為項(xiàng)目提供法律確定性；2. 世界級(jí)金融基礎(chǔ)設(shè)施保障儲(chǔ)備資產(chǎn)安全；3. 連接中國(guó)內(nèi)地與全球市場(chǎng)的戰(zhàn)略地位拓展應(yīng)用潛力；4. 政府堅(jiān)定支持營(yíng)造有利政策環(huán)境；5. 成熟的資本市場(chǎng)助力項(xiàng)目融資與擴(kuò)展。
與超時(shí)的python循環(huán)
Jul 12, 2025 am 02:17 AM
為Python的for循環(huán)添加超時(shí)控制，1.可結(jié)合time模塊記錄起始時(shí)間，在每次迭代中判斷是否超時(shí)並使用break跳出循環(huán)；2.對(duì)於輪詢類任務(wù)，可用while循環(huán)配合時(shí)間判斷，並加入sleep避免CPU佔(zhàn)滿；3.進(jìn)階方法可考慮threading或signal實(shí)現(xiàn)更精確控制，但複雜度較高，不建議初學(xué)者首選；總結(jié)關(guān)鍵點(diǎn)：手動(dòng)加入時(shí)間判斷是基本方案，while更適合限時(shí)等待類任務(wù)，sleep不可缺失，高級(jí)方法適用於特定場(chǎng)景。
