Spark

Какие конфигурации доступны для работы со Spark?

Список доступных конфигураций можно посмотреть при создании окружения с типом «Spark» в выпадающих списках «Ресурсы Driver» и «Ресурсы Executor».

Как запустить обработку данных на Spark?

В меню выбрать Environments → Окружения → Jupyter Server → Создать Jupyter Server и указать Тип Jupyter Server = «Spark(CPU)».

Что делать, если в spark-задаче возникает ошибка «response: Internal Server Error spark-job-job_id»?

Ошибка может быть вызвана повышенной нагрузкой на сервис. Рекомендуем настроить в вашей последовательности запросов автоматический retry на три—пять попыток с интервалом 4, 8, 16, 32 и так далее секунд.