Совместимость версий Spark
Версии Delta Lake и Iceberg должны быть совместимы с версией Spark.
Текущая версия Spark — 3.5.
Совместимость версий с Delta Lake
Версия Delta Lake указывается с помощью параметра конфигурации Spark spark.jars.packages. Значение должно соответствовать виду io.delta:delta-spark_<scala-version>:<delta-version>. Например, io.delta:delta-spark_2.12:3.2.0.
Версия Spark | Версия Delta Lake | Версия Scala |
|---|---|---|
3.5.x | 3.2.x | 2.12.x 2.13.x |
3.5.x | 3.1.x | 2.12.x 2.13.x |
3.5.x | 3.0.x | 2.12.x 2.13.x |
Актуальная информация о версиях Delta Lake в документации Apache Delta Lake®.
Совместимость версий с Iceberg
Версия Spark | Версия Iceberg | Версия Scala |
|---|---|---|
3.5 | 1.7.1 | 2.12 2.13 |
Названия JAR-файлов содержат версию Spark, с которой совместима данная версия Iceberg. Структура названия файлов: 1.7.1 Spark 3.5_with Scala 2.12, где:
1.7.1 — версия Iceberg;
Spark 3.5 — версия Spark;
Scala 2.12 — версия Scala.
Актуальная информация о версиях Iceberg и JAR-файлы на странице Apache Iceberg®.
- Совместимость версий с Delta Lake
- Совместимость версий с Iceberg