Вопросы по Spark
Какие конфигурации доступны для работы со Spark?
Список доступных конфигураций можно посмотреть при создании окружения с типом «Spark» в выпадающих списках «Ресурсы Driver» и «Ресурсы Executor».
Как запустить обработку данных на Spark?
Перейдите в Environments → Jupyter Servers.
Нажмите Создать Jupyter Server и создайте Jupyter Server по инструкции, указав тип Препроцессинг и Big Data.
Как устроена тарификация Spark?
Подробнее про тарификацию в разделе Примеры расчета стоимости Еnvironments.
Как можно отследить использование ресурсов при запущенном окружении со Spark?
Подробно про мониторинг.
Что делать, если в spark-задаче возникает ошибка «response: Internal Server Error spark-job-job_id»?
Ошибка может быть вызвана повышенной нагрузкой на сервис. Рекомендуем настроить в вашей последовательности запросов автоматический retry на три—пять попыток с интервалом 4, 8, 16, 32 и так далее секунд.
Можно ли использовать компонент Spark Web UI для мониторинга нагрузки на Jupyter Server с доступом к Spark?
Компонент Spark Web UI недоступен при работе в Jupyter Server с доступом к Spark.
- Какие конфигурации доступны для работы со Spark?
- Как запустить обработку данных на Spark?
- Как устроена тарификация Spark?
- Как можно отследить использование ресурсов при запущенном окружении со Spark?
- Что делать, если в spark-задаче возникает ошибка «response: Internal Server Error spark-job-job_id»?
- Можно ли использовать компонент Spark Web UI для мониторинга нагрузки на Jupyter Server с доступом к Spark?