Vraag Spark-uitvoerder meldt zich aan YARN


Ik start een gedistribueerde Spark-toepassing in de YARN-clientmodus op een Cloudera-cluster. Na enige tijd zie ik enkele fouten in Cloudera Manager. Sommige executeurs raken afgesloten en dit gebeurt systematisch. Ik wil graag het probleem oplossen, maar de interne uitzondering wordt niet door YARN gemeld.

Exception from container-launch with container ID: container_1417503665765_0193_01_000003 and exit code: 1
ExitCodeException exitCode=1: 
    at org.apache.hadoop.util.Shell.runCommand(Shell.java:538)
    at org.apache.hadoop.util.Shell.run(Shell.java:455)
    at org.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:702)
    at org.apache.hadoop.yarn.server.nodemanager.DefaultContainerExecutor.launchContainer(DefaultContainerExecutor.java:196)
    at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:299)
    at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:81)
    at java.util.concurrent.FutureTask.run(FutureTask.java:262)
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615)
    at java.lang.Thread.run(Thread.java:745)

Hoe kan ik de stacktrace van de uitzondering zien? Het lijkt erop dat YARN alleen rapporteert dat de toepassing abnormaal is afgesloten. Is er een manier om het inloggen van spark-executives in de YARN-configuratie te zien?


12
2017-12-06 20:40


oorsprong


antwoorden:


Controleer NodeManager's yarn.nodemanager.log-dir eigendom. Het is de logboeklocatie van wanneer Spark Executor-container wordt uitgevoerd.

Merk op dat wanneer de applicatie klaar is NodeManager de bestanden kan verwijderen (Log Aggregation). Raadpleeg dit document voor meer informatie. http://hortonworks.com/blog/simplifying-user-logs-management-and-access-in-yarn/


3