@4ainik

Какие эффективные методы для обработки больших массивов данных?

Здравствуйте.

Есть большой массив данных в БД 500тыс.
Данные состоят из временной метки и продолжительности события.
Какие эффективные методы для обработки больших массивов данных существуют и что вы можете порекомендовать в данном случае? И что вообще можно сделать с такими данными? В какой наглядной форме можно представить?

Может быть есть специалисты по статистике?
  • Вопрос задан
  • 156 просмотров
Пригласить эксперта
Ответы на вопрос 1
@dmshar
1. 500 тыс. чего? Записей? Какой объем записи? Но вообще-то говоря, данные такого объема "большими" считать не приходится - это вполне умеренные объемы для практически любых современных задач и соответственно - современных инструментов работы с данными.
2. Данные указанного типа - относятся к т.н. временнЫм рядам. Классика жанра, если временнЫе метки задают равные интервалы, но и в противном случае - можно работать с такими данными относительно легко - главное, понимать, что же с этой информацией вы хотите сделать.
3. Форма визуализации времаннЫх рядов - различного рода графики. Ось Х - время, ось Y - значения ряда. Впрочем, могут быть и другие представления, в зависимости от цели такой визуализации.
4. С такими данными обычно решают два класса задач. Либо по набору значений ряда в прошлом выполняют предсказание значений, которые ряд будет принимать в будущие моменты времени. Либо обнаружение в прошлых значениях ряда некоторых аномалий. Тут может быть два варианта - либо выявление выбросов, т.е. единичных точек, чье поведение противоречит модели поведения ряда, либо выявление момента смены собственно самой модели поведения ряда.
5. Да, "специалисты по статистике" тут - наверное, к вашему удивлению - тут есть.
6. "не могу сформулировать задачу, т.к. не владею предметной областью статистики -- а вы сформулируйте свою задачу в своей предметной области, а специалисты по статистике вам потом помогут.
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы
SaveTime Москва
от 110 000 руб.
SaveTime Москва
от 160 000 руб.
ZAVOD Games Москва
от 80 000 до 120 000 руб.
22 апр. 2019, в 11:02
30000 руб./за проект
22 апр. 2019, в 11:00
1800 руб./за проект
22 апр. 2019, в 10:37
5000 руб./за проект