Вопросы с тегом «spark-submit»

Я хотел бы остановить различные сообщения, которые приходят на спарк-оболочку. Я попытался отредактировать log4j.propertiesфайл, чтобы остановить это сообщение. Вот содержимое log4j.properties # Define the root logger with appender file log4j.rootCategory=WARN, console log4j.appender.console=org.apache.log4j.ConsoleAppender log4j.appender.console.target=System.err log4j.appender.console.layout=org.apache.log4j.PatternLayout log4j.appender.console.layout.ConversionPattern=%d{yy/MM/dd HH:mm:ss} %p %c{1}: %m%n # Settings to quiet third party logs that are too verbose …

181 apache-spark  log4j  spark-submit 

Правда ... это обсуждалось довольно много. Однако есть много двусмысленности и некоторые ответы предоставлены ... включая дублирование ссылок на jar в конфигурации или опциях jars / executor / driver. Двусмысленные и / или опущенные детали Следуя двусмысленности, неясные и / или пропущенные детали должны быть разъяснены для каждого варианта: Как …

158 java  scala  apache-spark  jar  spark-submit