allposts_vitali
@allposts_vitali

Можно ли автоматизировать создание талиц в HIVE?

Добрый день, при создании таблиц в HIVE мы обязаны определить сразу все поля таблицы https://cwiki.apache.org/confluence/display/Hive/L...
Но при условии, если у нас есть файл csv на 600+ столбцов возможно ли создать таблицу на основе этого файла с нужным количеством стобцов? НЕ в ручную.
  • Вопрос задан
  • 56 просмотров
Решения вопроса 1
@Yo1
можно spark. создать на файл датафрейм, сделать createOrReplaceTempView и из него
spark.sql("create table my_table as select * from my_temp_table");
Ответ написан
Комментировать
Пригласить эксперта
Ответы на вопрос 1
@kunter
Можно сделать так (через спарк)
1) Распрарсить строку csv
2) Опреледить кол-во столбцов в нем.
3) Сгенерировать sql запрос в спарке, чтобы конечный рузельтат был
Create table YourTabel (col1 string,col2 string, ......) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\;' STORED AS TEXTFILE;
Ответ написан
Комментировать
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы