tocdepth

2

Совместимость версий Spark

Версии Delta Lake и Iceberg должны быть совместимы с версией Spark.

Примечание

Текущая версия Spark — 3.5.

Совместимость версий с Delta Lake

Версия Delta Lake указывается с помощью параметра конфигурации Spark spark.jars.packages. Значение должно соответствовать виду io.delta:delta-spark_<scala-version>:<delta-version>. Например, io.delta:delta-spark_2.12:3.2.0.

Версия Spark

Версия Delta Lake

Версия Scala

3.5.x

3.2.x

2.12.x

2.13.x

3.5.x

3.1.x

2.12.x

2.13.x

3.5.x

3.0.x

2.12.x

2.13.x

Актуальная информация о версиях Delta Lake в документации Apache Delta Lake®.

Совместимость версий с Iceberg

Версия Spark

Версия Iceberg

Версия Scala

3.5

1.7.1

2.12

2.13

Названия JAR-файлов содержат версию Spark, с которой совместима данная версия Iceberg. Структура названия файлов: 1.7.1 Spark 3.5_with Scala 2.12, где:

  • 1.7.1 — версия Iceberg;

  • Spark 3.5 — версия Spark;

  • Scala 2.12 — версия Scala.

Актуальная информация о версиях Iceberg и JAR-файлы на странице Apache Iceberg®.

Запустили Evolution free tier
для Dev & Test
Получить