Если после архивирования кода Spark Streaming в JAR-файл и его загрузки в кластер, появилось сообщение об ошибке «The class cannot be found», и следующие действия не помогли решить проблему:
При отправке задания Spark выполнение команды --jars для ссылки на файл JAR данного класса.
Импорт JAR-файла, к которому относится класс, в JAR-файл Spark Streaming.
Причина ошибки может быть в том, что некоторые JAR-файлы не могут быть загружены во время выполнения задания Spark, в результате чего класс не определяется.
Для решения проблемы сделайте следующее:
Введите команду --jars для загрузки flume-ng-sdk-{version}.jar пакета зависимости.
Измените два параметра настройки в конфигурационном файле spark-default.conf:
spark.driver.extraClassPath=$PWD/*: {Add the original value}
spark.executor.extraClassPath =$PWD/\
Запустите задание. Если сообщение об ошибке появится снова, проверьте, какой из JAR-файлов не загружен, и повторите шаги 1 и 2.