Как реализовать байесовскую оценку решения на Python?
Хочу посчитать переход априорной вероятности в апостериорную для сочетаний событий. Кто-нибудь делал это? Вдруг уже есть готовая библиотека для этого ?
Олег Петров, вообще-то могу, но иногда трудно сдержаться.
А так-то я пошутил - я, конечно, делал баесовский классификатор. Первый после Байеса! Могу поделиться.
longclaps, Есть Город и есть 100 факторов влияющих на погоду, каждый фактор имеет от 1 до 200 значений.
Например:
-температура вчера от -50 до 50 градусов
-температура позавчера от -50 до 50 градусов
-атмосферное давление вчера от 500 до 1000 мм(условно, я точно не знаю границы)
и прочие
Каждый фактор как-то влияет на температуру завтра.
Вот хочу попробовать решить данную задачу с помощью байесовской оценки решения на Python.
То есть априорную вероятность перевести в апостериорную.
Априорная вероятность как я понял - это будет предположение, что завтра будет примерно такая же температура как была вчера, и нужно как-то пересчитать остальные факторы, как они изменят нашу уверенность, что погода будет не такая же как вчера и в каком диапазоне.
Олег Петров, смотри, во-первых у этой задачи есть тривиальное решение: с вероятностью 80% завтра будет такая же погода, как сегодня. Это вытекает из того наблюдения, что одна и та же погода держится в среднем 5 дней.
Стало быть, имеет смысл лишь такой прогноз, который даст ошибку в разы меньшую, чем оставшиеся 20%. Такого результата добился Гидрометцентр - не моей памяти за прошедшие несколько лет он лишь раз сильно ошибся, и Гельфанд извинялся.
Насколько я знаю, их методика предсказания базируется на мониторинге и моделировании глобальной погоды - Байес обошелся бы им гораздо дешевле ).
Вопрос: а каким массивом данных ты располагаешь? Обычно речь идет о наблюдениях за чуть больше чем 100 лет, скажем, 40000 дней. Выглядит солидно - но на это можно посмотреть иначе. Говоришь, есть 100 факторов? Это очень много, в них наверняка много мусора и какая-нибудь нейронка легко бы впала в переобучение. Байесу, правда, такое не грозит - это обратная сторона его тупости.
longclaps, Ну погода - это была как модель решения, так как уверен, что в будущем будут подобные задачи, где есть 1 целевая переменная и много независимых, от которых она зависит, но как, никто точно не знает. Хочется узнать можно ли в целом с помощью данного метода решать такой класс задач.
Олег Петров, все, кто этих тем касались, видели набор данных "ирисы Фишера". Там 3 сорта ирисов - и Байес может разделить их на 2 группы - 1й сорт и два других. Вот два оставшихся он разделить не может - они линейно не разделимы, так же как и не разделит их логистическая регрессия.
Я хочу сказать, что Байес - это простой инструмент для быстрой проверки каких-то гипотез, не выстрелила одна - берёмся за другую (но на первой крест не ставим, может там что-то есть, но Байес этого не видит).
А когда обнаруживается какая-то статистическая взаимостязь - обычно начинается отработка причинно-следственных гипотез.
Вот такое у Байеса назначение.
longclaps, Понял, ну ладно, значит примерно понял для чего он нужен. Но мне задача на ирисы не нравится, она же искусственная. В жизни редко такие встречаются, поэтому наверное Байес для жизненных задач более применим.
