tocdepth: 2

Что делать, если после отправки задания (job) Flume в Spark Streaming появилось сообщение об ошибке «The class cannot be found»?

Если после архивирования кода Spark Streaming в JAR-файл и его загрузки в кластер, появилось сообщение об ошибке «The class cannot be found», и следующие действия не помогли решить проблему:

При отправке задания Spark выполнение команды --jars для ссылки на файл JAR данного класса.
Импорт JAR-файла, к которому относится класс, в JAR-файл Spark Streaming.

Причина ошибки может быть в том, что некоторые JAR-файлы не могут быть загружены во время выполнения задания Spark, в результате чего класс не определяется.

Для решения проблемы сделайте следующее:

Введите команду --jars для загрузки flume-ng-sdk-{version}.jar пакета зависимости.
Измените два параметра настройки в конфигурационном файле spark-default.conf:

spark.driver.extraClassPath=$PWD/*: {Add the original value}

spark.executor.extraClassPath =$PWD/\
Запустите задание. Если сообщение об ошибке появится снова, проверьте, какой из JAR-файлов не загружен, и повторите шаги 1 и 2.

Была ли статья полезной?

Спасибо за отзыв! Что можно улучшить?

Что делать, если после отправки задания (job) Flume в Spark Streaming появилось сообщение об ошибке «The class cannot be found»?