Как развернуть Big Data в своем бизнесе?

Здравствуйте!

Сразу извиняюсь, если кого-то ввел в заблуждения мой вопрос, просто,возможно, он задан не совсем корректно, но, тем не менее, попытаюсь сформулировать что я хочу.

Как я понимаю, Big Data - это сбор структурированных и неструктурированных данных из различный источников, их обработка и анализ.

Как организовать это? Есть задача постоянно мониторить определенный рынок (цены, налоги, стоимость услуг - в определенном сегменте). Есть огромное количество источников информации, и в ручную все это не реально охватить.

Как я понимаю, существует специальное оборудование для хранения и анализа, специальный софт.

Так же я понимаю, что я далек от всего этого, поскольку сейчас данные в основном собираем в ручную, но, я понимаю, что нашему бизнесу необходима эта технология.

С чего начать? К кому обратиться?

Спасибо!
  • Вопрос задан
  • 1390 просмотров
Решения вопроса 1
AntonKravchenko
@AntonKravchenko
Определите для начала, у Вас действительно BIG Data или просто Data.
BIG характеризуется:
1. Огромные объёмы данных (в ТБ +-)
2. Огромная скорость их генерации (в ГБ/сек +-)
3. Высокая требуемая скорость их обработки (вплоть до real-time)
4. Неструктурированность (голос, текст, числа, двоичные данные) и множество источников их поступления (датчики, сохранённые ранее данные и т.п.)

Судя по Вашему вопросу, у Вас подходит только п.4 - поправьте, пожалуйста, если ошибаюсь.
Ещё важный момент - для чего Вы планируете использовать результаты анализа этих данных? Вопрос задаю потому, что под многие задачи уже есть готовые решения - типа сервиса товарных рекомендаций RetailRocket (не реклама, просто привожу как пример) для интернет-магазинов, задача которого - рост среднего чека по покупкам.
Так вот, в зависимости от Ваших задач вполне возможно, что Вам будет достаточно некоторого самописного или готового софта, в т.ч. и без лейбла Big Data ))
Опять-таки, как пример - мы в своё время делали простую систему прогнозирования продаж для крупного дистрибьютора на связке Terrasoft BPM'online + 1С + Deductor. В проекте мы оперировали примерно 27 000 единицами номенклатуры и 250 000 позиций в отгрузках за год. Разбивку делали по 3 филиалам и 20 товарным категориям. Из 1С брали факт по реализациям, загоняли всё это в Deductor для построения прогноза (при этом в BPM'online вручную указывали коэффициенты сезонности - проект был достаточно простой), из Deductor-a перегружали данные в BPM для наглядной аналитики и привязки прогнозов продаж к планам работы менеджеров (кроме прогноза, мы ещё в BPM'online вели аналитику по суммарным потребностям клиентов, и проводили сравнение прогноза продаж данному клиенту и известной потребностью клиента и при сильном отставании прогноза от потребности "натравливали" менеджеров на этого клиента).

Какую задачу Вы хотите решить?
Ответ написан
Пригласить эксперта
Ответы на вопрос 4
moropsk
@moropsk
Как вариант www.teradata.com.ru
Они железо также продают под БигДату
Ответ написан
Комментировать
sim3x
@sim3x
В большинстве случаев у тебя не будет Биг, а будет просто Дата - почитай про 4v www.ibmbigdatahub.com/infographic/four-vs-big-data

Если тебе интересно, что у тебя в бизнесе происходит, то подумай какая информация у тебя есть.
Логи с твоего сайта, список корзин (завершенных и нет), обработка телефонных запросов, список поставщиков с их характеристиками. Нужно сохранить максимум информации. Если есть информация и у тебя сомнения, нужно или не ее сохранять - сохраняй в как можно менее обрезанном виде.

Как хранить? Желательно сохранять в том виде в каком она приходит. Идеально стандартизировать параметры для ввода - операторы не всегда корректно вводят значения в текстовые поля.

Как я понимаю, существует специальное оборудование для хранения и анализа, специальный софт.
В случае больших данных оно необходимо, но до него тебе еще нужно вырасти.
Так что тебе подойдет любой сторадж вплоть до флешки подойдет. Не забудь продублировать в нескольких местах и проверять бекапы регулярно!

Единственное, что потребудет квалификации - написание скриптов для максимальной автоматизации сбора и сохранения статистики

Теперь когда у тебя есть данные за месяц, ты берешь ексель и начинаеш строить по данным графики.
Дада, ексель единственный инструмент, который тебе нужен для анализа.

Только смотри на свои данные с долей скептицизма - индустрия анализа данных строилась на статистике и данных за 20 и более лет - полностью доверять выводам из своих, даже годичных, данных не стоит.
Ответ написан
@ribiruby
Big Data - это дохрена данных. Которые вы не из воздуха возьмете, а эти данные у вас уже есть.
Осталось только научиться их использовать.

Для того, чтобы обслуживать хотя бы генерацию и хранение этих данных у вас постоянно работают высококвалифицированные специалисты. И далеко не один.

Пообщайтесь с ними для начала.

Если у вас этих людей нет - у вас нет даже близко ничего пригодного для BigData.
Ответ написан
Комментировать
@awdemme
У вас данные размещены уже на паре сотен серверов?
Нет?

У вас нет никакой БигДаты.
Ответ написан
Комментировать
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы