Razbezhkin
@Razbezhkin
программист, преподаватель

Как из спарка (apache spark) на java подключаться к MS SQL Server?

Здравствуйте!
Подскажите, пожалуйста, в чем проблема?

Есть код на java, который создает сессию для спарка, конфигурирует ее и пытается из спарка обратиться к БД MS SQL Server:

SparkConf conf = new SparkConf().setMaster("local[4]").setAppName("Word Count");
conf.set("spark.driver.extraClassPath","C:\\temp\\sqljdbc42.jar");//по этому пути лежит драйвер
conf.set("spark.executor.extraClassPath","C:\\temp\\sqljdbc42.jar");

String url = "jdbc:sqlserver://10.11.0.2\\sql2012;database=xyz;user=test;password=test";
Properties p =new Properties();
Dataset df2 = spark.read().jdbc(url,"abtests",p);
df2.show();

В результате выполнения появляется ошибка:
"Exception in thread "main" java.sql.SQLException: No suitable driver"

код выполняется на Windows 10 x64, специально spark не устанавливался, в коде выполняется обращение к "локальному" спарку, который жлементарнце операции, типа чтения файлов и построение DataFrame'ов успешно выполняется.

Вероятно, я делаю что-то не так:
- не туда положил драйвер
- драйвер оказался не тот
- неправильно сконфигурировал сессию спарка
  • Вопрос задан
  • 274 просмотра
Пригласить эксперта
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы