在YARN上提交PyFlink作業(yè)時(shí)，為什么會(huì)報(bào)錯(cuò)無(wú)法找到Python腳本？
Apr 19, 2025 pm 02:06 PM
PyFlink作業(yè)在YARN上提交失敗：Python腳本缺失原因分析及解決方法
使用YARN提交PyFlink作業(yè)時(shí)，可能會(huì)遇到找不到Python腳本的錯(cuò)誤，例如：
<code>2024-05-24 16:38:02,030 info org.apache.flink.client.python.pythondriver [] - pyflink181.zip/pyflink181/bin/python: can't open file 'hdfs://nameservice1/pyflink/wc2.py': [errno 2] no such file or directory</code>
這通常發(fā)生在使用以下類(lèi)似命令時(shí)：
./flink run-application -t yarn-application \ -dyarn.application.name=flinkcdctestpython \ -dyarn.provided.lib.dirs="hdfs://nameservice1/pyflink/flink-dist-181" \ -pyarch hdfs://nameservice1/pyflink/pyflink181.zip \ -pyclientexec pyflink181.zip/pyflink181/bin/python \ -pyexec pyflink181.zip/pyflink181/bin/python \ -py hdfs://nameservice1/pyflink/wc2.py
與之對(duì)比，Java作業(yè)提交則通常不會(huì)出現(xiàn)問(wèn)題：
./flink run-application -t yarn-application \ -djobmanager.memory.process.size=1024m \ -dtaskmanager.memory.process.size=1024m \ -dyarn.application.name=flinkcdctest \ -dyarn.provided.lib.dirs="hdfs://nameservice1/pyflink/flink-dist-181" \ hdfs://nameservice1/pyflink/statemachineexample.jar
Java作業(yè)成功提交，說(shuō)明HDFS配置正確，問(wèn)題在于PyFlink作業(yè)的Python腳本路徑或配置。
排查及解決步驟
-
驗(yàn)證Python腳本路徑: 使用
hdfs dfs -ls hdfs://nameservice1/pyflink/wc2.py命令檢查腳本wc2.py是否存在于指定的HDFS路徑。如果不存在，請(qǐng)確保正確上傳腳本到該路徑。 -
檢查PyFlink配置: 仔細(xì)檢查
-pyarch、-pyclientexec和-pyexec參數(shù)，確保它們準(zhǔn)確指向PyFlink環(huán)境和Python解釋器。pyflink181.zip必須包含所有必要的Python庫(kù)和執(zhí)行環(huán)境。 -
權(quán)限問(wèn)題: 使用
hdfs dfs -ls -h hdfs://nameservice1/pyflink/wc2.py查看腳本的HDFS權(quán)限。 如果權(quán)限不足，使用hdfs dfs -chmod 755 hdfs://nameservice1/pyflink/wc2.py修改權(quán)限，確保YARN和Flink用戶(hù)擁有讀取權(quán)限。 -
日志分析: 啟用Flink和YARN的詳細(xì)日志記錄，分析錯(cuò)誤日志以獲取更具體的錯(cuò)誤信息和發(fā)生位置。
-
Python環(huán)境兼容性: 確保PyFlink使用的Python版本與開(kāi)發(fā)腳本時(shí)使用的版本一致，避免版本不兼容導(dǎo)致腳本無(wú)法識(shí)別或執(zhí)行。
通過(guò)以上步驟，系統(tǒng)地排查問(wèn)題，并根據(jù)實(shí)際情況調(diào)整配置，即可解決PyFlink作業(yè)在YARN上提交時(shí)找不到Python腳本的問(wèn)題。 如果問(wèn)題仍然存在，請(qǐng)?zhí)峁└敿?xì)的Flink和YARN日志信息以便進(jìn)一步分析。
以上是在YARN上提交PyFlink作業(yè)時(shí)，為什么會(huì)報(bào)錯(cuò)無(wú)法找到Python腳本？的詳細(xì)內(nèi)容。更多信息請(qǐng)關(guān)注PHP中文網(wǎng)其他相關(guān)文章！
熱AI工具
Undress AI Tool
免費(fèi)脫衣服圖片
Undresser.AI Undress
人工智能驅(qū)動(dòng)的應(yīng)用程序，用于創(chuàng)建逼真的裸體照片
AI Clothes Remover
用于從照片中去除衣服的在線人工智能工具。
Clothoff.io
AI脫衣機(jī)
Video Face Swap
使用我們完全免費(fèi)的人工智能換臉工具輕松在任何視頻中換臉！
熱門(mén)文章
熱工具
記事本++7.3.1
好用且免費(fèi)的代碼編輯器
SublimeText3漢化版
中文版，非常好用
禪工作室 13.0.1
功能強(qiáng)大的PHP集成開(kāi)發(fā)環(huán)境
Dreamweaver CS6
視覺(jué)化網(wǎng)頁(yè)開(kāi)發(fā)工具
SublimeText3 Mac版
神級(jí)代碼編輯軟件(SublimeText3)
熱門(mén)話題
如何處理Python中的API身份驗(yàn)證
Jul 13, 2025 am 02:22 AM
處理API認(rèn)證的關(guān)鍵在于理解并正確使用認(rèn)證方式。1.APIKey是最簡(jiǎn)單的認(rèn)證方式，通常放在請(qǐng)求頭或URL參數(shù)中；2.BasicAuth使用用戶(hù)名和密碼進(jìn)行Base64編碼傳輸，適合內(nèi)部系統(tǒng)；3.OAuth2需先通過(guò)client_id和client_secret獲取Token，再在請(qǐng)求頭中帶上BearerToken；4.為應(yīng)對(duì)Token過(guò)期，可封裝Token管理類(lèi)自動(dòng)刷新Token；總之，根據(jù)文檔選擇合適方式，并安全存儲(chǔ)密鑰信息是關(guān)鍵。
python循環(huán)在元組上
Jul 13, 2025 am 02:55 AM
在Python中，用for循環(huán)遍歷元組的方法包括直接迭代元素、同時(shí)獲取索引和元素、以及處理嵌套元組。1.直接使用for循環(huán)可依次訪問(wèn)每個(gè)元素，無(wú)需管理索引；2.使用enumerate()可同時(shí)獲取索引和值，默認(rèn)索引起始為0，也可指定start參數(shù)；3.對(duì)嵌套元組可在循環(huán)中解包，但需確保子元組結(jié)構(gòu)一致，否則會(huì)引發(fā)解包錯(cuò)誤；此外，元組不可變，循環(huán)中不能修改內(nèi)容，可用\_忽略不需要的值，且建議遍歷前檢查元組是否為空以避免錯(cuò)誤。
什么是DAO組織？去中心化自治社區(qū)指南
Jul 15, 2025 pm 07:45 PM
DAO是一種去中心化自治組織，由社區(qū)成員共同擁有和管理，通過(guò)智能合約自動(dòng)執(zhí)行規(guī)則。1.它沒(méi)有傳統(tǒng)管理層，決策由集體投票決定；2.治理代幣賦予成員投票權(quán)，代幣越多權(quán)重越大；3.提案由社區(qū)發(fā)起并投票，獲多數(shù)支持后由智能合約自動(dòng)執(zhí)行。其核心特征包括去中心化、自治和透明，所有規(guī)則與資金流動(dòng)公開(kāi)可審計(jì)。DAO的重要性在于創(chuàng)造了更公平、高效且具凝聚力的協(xié)作模式，打破地域與身份限制，提升信任與運(yùn)營(yíng)效率。
什么是python中的純粹功能
Jul 14, 2025 am 12:18 AM
純函數(shù)在Python中是指給定相同輸入始終返回相同輸出且沒(méi)有副作用的函數(shù)。其特點(diǎn)包括：1.確定性，即相同輸入總是產(chǎn)生相同輸出；2.無(wú)副作用，即不修改外部變量、不改變輸入數(shù)據(jù)、不與外界交互。例如，defadd(a,b):returna b是純函數(shù)，因?yàn)闊o(wú)論調(diào)用多少次add(2,3)，都始終返回5，且不更改程序中的其他內(nèi)容。相較而言，修改全局變量或改變輸入?yún)?shù)的函數(shù)則是非純函數(shù)。純函數(shù)的優(yōu)勢(shì)有：更容易測(cè)試、更適合并發(fā)執(zhí)行、可緩存結(jié)果提升性能，并能良好配合函數(shù)式編程工具如map()和filter()。
如何防止方法在Python中被覆蓋？
Jul 13, 2025 am 02:56 AM
在Python中，雖然沒(méi)有內(nèi)置的final關(guān)鍵字，但可通過(guò)名稱(chēng)改寫(xiě)、運(yùn)行時(shí)異常、裝飾器等方法模擬不可覆蓋的方法。1.使用雙下劃線前綴觸發(fā)名稱(chēng)改寫(xiě)，使子類(lèi)難以覆蓋方法；2.在方法中判斷調(diào)用者類(lèi)型并拋出異常，阻止子類(lèi)重定義；3.使用自定義裝飾器標(biāo)記方法為final，并結(jié)合元類(lèi)或類(lèi)裝飾器進(jìn)行檢查；4.可將行為封裝為property屬性以減少被修改的可能性。這些方式提供了不同程度的保護(hù)，但都無(wú)法完全強(qiáng)制限制覆蓋行為。
比特幣大漲的原因 比特幣七月份為什么大漲
Jul 15, 2025 pm 07:24 PM
比特幣七月份上漲是多重因素共同作用的結(jié)果，包括宏觀經(jīng)濟(jì)環(huán)境改善、機(jī)構(gòu)投資者信心增強(qiáng)及市場(chǎng)情緒回暖。1. 美聯(lián)儲(chǔ)放緩加息削弱美元吸引力，通脹降溫引發(fā)對(duì)貨幣政策轉(zhuǎn)向的預(yù)期；2. 貝萊德提交比特幣ETF申請(qǐng)?zhí)嵴袷袌?chǎng)信心，預(yù)示大量機(jī)構(gòu)資金可能流入；3. 技術(shù)面突破關(guān)鍵阻力位吸引交易者參與，供需關(guān)系變化進(jìn)一步支撐價(jià)格上漲。
如果還有其他在Python
Jul 13, 2025 am 02:48 AM
ifelse是Python中用于條件判斷的基礎(chǔ)結(jié)構(gòu)，通過(guò)條件的真假執(zhí)行不同代碼塊。它支持多條件判斷時(shí)使用elif添加分支，且縮進(jìn)是語(yǔ)法關(guān)鍵；如num=15時(shí)，程序輸出“這個(gè)數(shù)字大于10”；若需簡(jiǎn)化賦值邏輯，可用三元運(yùn)算符如status="成年人"ifage>=18else"未成年人"。1.ifelse根據(jù)條件真假選擇執(zhí)行路徑；2.elif可添加多個(gè)條件分支；3.縮進(jìn)決定代碼歸屬，錯(cuò)誤會(huì)導(dǎo)致異常；4.三元運(yùn)算符適用于簡(jiǎn)單賦值場(chǎng)景。
如何將簡(jiǎn)單的HTML文件與Apache一起服務(wù)？
Jul 14, 2025 am 12:52 AM
要讓Apache服務(wù)一個(gè)簡(jiǎn)單的HTML文件，首先準(zhǔn)備好HTML文件并放到正確目錄。1.創(chuàng)建一個(gè)簡(jiǎn)單的HTML文件如index.html或example.html；2.將文件復(fù)制到Apache默認(rèn)根目錄/var/www/html/或自定義路徑；3.確保Apache服務(wù)已啟動(dòng)，并通過(guò)瀏覽器訪問(wèn)測(cè)試；4.如需更改網(wǎng)站目錄，修改Apache配置文件中的DocumentRoot和Directory路徑，并重啟服務(wù)使配置生效。整個(gè)過(guò)程需注意文件擴(kuò)展名、路徑權(quán)限及服務(wù)狀態(tài)，確保各項(xiàng)設(shè)置準(zhǔn)確無(wú)誤后即可成功顯示頁(yè)
