Spark
Какие конфигурации доступны для работы со Spark?
Список доступных конфигураций можно посмотреть при создании окружения с типом «Spark» в выпадающих списках «Ресурсы Driver» и «Ресурсы Executor».
Как запустить обработку данных на Spark?
В меню выбрать и указать Тип Jupyter Server = «Spark(CPU)».
Как устроена тарификация Spark?
Подробнее про тарификацию в разделе Примеры расчета стоимости Еnvironments.
Как можно отследить использование ресурсов при запущенном окружении со Spark?
Подробно про мониторинг.
Что делать, если в spark-задаче возникает ошибка «response: Internal Server Error spark-job-job_id»?
Ошибка может быть вызвана повышенной нагрузкой на сервис. Рекомендуем настроить в вашей последовательности запросов автоматический retry на три—пять попыток с интервалом 4, 8, 16, 32 и так далее секунд.
Можно ли использовать компонент Spark Web UI для мониторинга нагрузки на Jupyter Server с доступом к кластеру Spark?
Компонент Spark Web UI недоступен при работе в Jupyter Server с доступом к кластеру Spark.