@valentyn_troian

Как легко подключить Hadoop к большому MySQL-проекту?

Я делаю курсовую работу. Пожалуйста, помогите мне понять, в каком направлении я должен двигаться.

Итак, у меня на моем компьютере имеется большая база данных MySQL (31.3Gb, 130 миллионов строк). Я написал простую html-страницу (интерфейс для моей программы). Я использую PHP для подключения к моей базе данных, AJAX для асинхронного получения данных с сервера и OpenServer (локальный сервер для тестирования).

Как все работает: пользователь выбирает некоторые фильтры для таблицы на моей странице html, нажимает кнопку поиска (укр. пошук) и ему отображается таблица. Если записей много, автоматически создаются следующие страницы.
5b1821c0bbab4666480355.png
Все работает хорошо, но что я должен сделать, чтобы подключить к моему проекту Hadoop? Это обязательное требование. Может быть, HortonWorks / Cloudera / Docker?

Основной критерий ПО - простота в настройке и установке. Кроме того, у меня на ноутбуке всего 4 ГБ ОЗУ, поэтому, скорее всего, мне придется использовать старые версии тулзов. HortonWorks 2.1 был успешно установлен на моей виртуальной машине (Ubuntu 14.04).

Заранее благодарю всех за вашу помощь!
  • Вопрос задан
  • 163 просмотра
Пригласить эксперта
Ответы на вопрос 3
Sanasol
@Sanasol
нельзя просто так взять и загуглить ошибку
31.3Gb, 130 миллионов строк

вам нужно добавить пару индексов, а не хадуп ставить.

Вот когда будет 33.3TB, тогда смотрите на хадупы.

https://www.chrisstucchio.com/blog/2013/hadoop_hat...
Ответ написан
dimonchik2013
@dimonchik2013
non progredi est regredi
collaboradev.com/2010/12/10/using-hadoop-and-php
https://github.com/adprofy/Php-Hadoop-Hdfs

короче, найди клиент-коннектор

ну и данные перенеси
Ответ написан
Комментировать
@mossat
Самый легкий способ это использовать встроенный REST или Thrift коннектор для HBase.
1.Создать бд Hbase
2.Занести данные.
3.Включить Rest или Thrift сервер для Hbase
4. Установить коннектор и подключиться.
Очень подробно об этом написано в Hbase Definition Guide
Ответ написан
Комментировать
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы