Помощь - Поиск - Пользователи - Календарь
Полная версия этой страницы: Статистика как наука.
Пикап Форум - Всемирный форум пикаперов > Общение > Курилка
givigudze1
Хотел бы я разъяснить особенности работы статистики и теории вероятности.
Но статья будет критической. Основу этой критики заложили игроки в рулетку, покер, инженеры, которые совершали ошибки слепо полагаясь на статистику.
Ну и хотелось бы рассмотреть неправильное применение статистики.

Итак начнем. В школе мы делали опыты по физике, делали измерения. И вот выявилось что измеряя одно и то же мы получали разные результаты.
вот мы измеряем напряжение или даже длину бруска и получаем результаты измерений 10 10.1 9.9 10.3 10.2 9.6 10. 9.8 10.1.
И вот нам добренький учитель физики рассказывает что нужно найти среднее. Ну нашли мы там среднее - к примеру 10. А все остальные числа мы получили с погрешностью. Можно даже посчитать вектор погрешности KLODа. Вот от 10 (типо истинного значение) отнимаем 9.9 и получаем 0.1. Вот наш вектор ошибки 0.1.
И вот мы совершили первую ошибку. И вот кто-то спросит , а в чем ошибка.
А ошибка в том что мы начали изучать статистику с очень сложного примера. В данном случае имеет месть псевдо-нормальное распределение.
Про псевдо потом. Начнем с просто нормального распределения. Даже нормальное распределение имеет сложную квадратичную форму.
И школьнику в 9 классе этого явно не понять. Ну и конечно же от измерительного прибора будет зависеть размер этого псевдо распределения.
Дело в том что сам прибор измерительный имеет свои распределения погрешности и они могут быть явно не нормальные.
А главная ошибка что мы берем сложный процесс - физическое измерение величины с кучей всяких факторов.

А с чего нужно было начать. А начать нужно с простой математики, без физики. И начинать нужно с простого - с равномерного распределения.
То есть нужно взять два набор чисел (3 5 7 1 9 11) и (6 4 8 10 2 12) (не будем парится то одни четные другие нет) у одного среднее 6, у другого 7. Есть смысл в этом среднем значении ?
НЕТ ! И смысла в векторе ошибки тоже нет, и смысла в среднеквадратичном отклонений нет. И смысла в дисперсии нет. Дак вот с этого примера нужно
начинать. Именно с того примера где нет никакого смысла в среднем, в погрешностях, в дисперсиях.
И тут кто-то скажет - здесь статистики нет, здесь статистика не работает. А нет статистика тут работает как часы. Это равномерное распределение.
И вероятность выпадания каждого числа одна и та же. Есть большая рулетка и числа на ней выпадают именно с таким распределением.
Есть конечно и там некие особенности - ровность подшипника, от честность и расхлябанности суставов того кто крутит.
Но можно дать крутить рулетку каждый раз новому человеку и у него должны быть закрыты глаза, и эти люди не должны быть связанны с работой в казино.

А дальше можно вводить группы чисел которые будут образовывать горбы в распределении.
(3 5 7 2 4 9 11) - и тут будет уже некий горб в сторону 3,5 . И тут уже можно играть в статистику.
Можно сказать что 2 4 - это ошибка. А можно сказать что есть распределение - ну вот такое.
И вот именно тут включается мозг. Если мы не знаем процесса в котором получены числа - ничего мы сказать не можем.
И тут вылезут - ну как это не знаем что делать - надо считать среднее, расчитывать среднеквадратичное и отбрасывать ошибки больше среднеквадратичного.
и таки потом мы получим число близкое к истинному - 3,5 . И это будет ошибка, потому что мы на неизвестное распределение накладываем методы работы с нормальным распределением.

Ну и что же дальше. А вот дальше нужно работать с нормальным распределением. Взять детали изготовленные вручную без шаблонов.
И измерить их и поучить группу чисел с нормальным распределением. И тут уже применять все методы - среднее, дисперсию и среднеквадратичное отклонение.
А потом посмотреть чертеж детали и посмотреть насколько наше число сходится с тем числом которое указанно в чертеже.
И о чудо со всеми нашими ухищрениями мы видим что наше число входит в допуск указанный на чертеже, но полностью с ним не совпадает.
Мы не попали точно в номинал, но успокаиваем себя - Ну в допуск то мы попали.
И тут мы слышим смех мастера, который дал нам эти детальки. И мастер говорит - дак все детальки попадают в допуск, ведь перед тем как выдать детальки их проверил контролер и те которые не попали в допуск он положил в изолятор брака.
Адекватный ученик скажет - а нахера козе баян, зачем мы все это делали ? И мастер ответит - абсолютно не зачем этим заниматься.
И тут нужно подвести наших учеников к технологу. А уже технолог скажет - что нужно работать с браком. То есть нужно смотреть сколько брака.
Но в принципе работать с действительно нормальным распределением методами работы с нормальным распределением нет смысла!
И тут скажут а зачем мы считали дисперсии и все прочее. Да абсолютно не зачем.

И что все бесполезно. НЕТ не бесполезно. Далее мы идет в цех где детали вырубает штамп. И проделываем все тоже самое там.
Мы получает ненормальное распределение, но близкое к нему. Считаем все что нужно.
И тут уже и мастер и технолог - говорят нам - А вот здесь все что Вы насчитали важно. По дисперсии, по среднему - можно будет определить когда нужно будет менять штамп. Ну наконец-то какая-то польза. Тут дело в больших деньгах, в больших партиях, в предсказуемом процессе износа штампа.
И всю эту статистику можно вести, потому что она даст нам выпустить меньше брака и снизить затраты.

Ну вот такой сложный путь нужно пройти что бы научится правильно применять статистику в самом простом и примитивном случае.
Правда выйдет технолог прессформщик и скажет - а я когда форму спроектировал - рассчитал на сколько деталей её хватит - и мой расчет совпал с реальность, и никакой статистикой я не занимался. И тут опять наши ученики расстроятся и поймут что все было бесполезно.
Но наш технолог прессформщик прошел длинный путь, занимался статистикой, делал неправильные и правильные расчеты, а дальше изучал статистику которую рассчитали за него технологи в цехах и на основе её сделал свои расчеты и они совпали с реальным результатом.

Именно пройдя такой путь - с ошибками и неудачи, с правильным и неправильным подходом, с правильной постановкой вопросов и неправильной -
только так можно прикоснутся к статистике как к науке и начать применять её эффективно.

И что вся математика была бесполезна, нет. Далее есть сложные процессы измерений. Не все измерения прямые, есть косвенные.
И там нужно включать мозг, изучать принцип измерения, формулы и их взаимосвязи. Это уже наука Метрология.
Настоящие измерения не мыслимы без Метрологии. Метрология включает в себя математику, физику, химию, инженерную науку и здравый смысл.


А далее рассмотрим нейронные сети.

Я не математик и не программист. Поэтому нет смысла проектировать нейронную сеть под определенный случай.
Рассмотрим просто работу некой неправильной (не каноничной) нейронной сети.
Мы будем просто синтезировать нашу сеть, как 2-х летние дети лепят из пластилина - как получится.
Далее я буду делать все неправильно. Но попытаюсь объяснить некую суть тем кто не в теме. Теории с терминами не будет.
Н1, Н2, Н3, Н4, Н5, Н6 - это наши нейроны.
x y z - Три переменные которые входят в нашу сеть. В Н1, Н2, Н3 - входят одни и те же x y z.



Наш нейрон осуществляет такую функцию
Н1 = e11*x + e12*y + e13*z
Если из Н1 сигнал идет на Н4 то ( e11*x + e12*y + e13*z ) умножаем на коэффициент a11.

Все функции нейронов



Но наш нейрон не всегда будет пропускать сигнал.
Для каждого нейрона будет управляющая функция она обозначена R.
Для первого нейрона напишем неправильную управляющую функцию R11 = R1*x*x*y*z. R1 - некий коэффициент.
Математики используют специальную сигма-функцию или другие специальные функции близкие к цифровым сигналам.
Так вот когда R11 будет более определенного числа к примеру 10 - тогда нейрон будет включен (или открыт) и будет пропускать через себя сигнал.
Только измененнеый согласно той формулы которая заданна для нейрона.

В конце сети мы получим некое число. То есть в сеть мы ввели 3 числа, а на выходе получили 1.
То есть ждать того что Вы в нейронную сеть введете одно число, а на выходе получите 3-х мерную картину на которой единорог рыгает радугой и какает конфетами скителс - не стоит. Наоборот в нейронную сеть мы вводим кучу чисел (часто вручную + часть автоматически), а на выходе часто получаем 1 или 0.
А в умелых руках нейронные сети могут синтезировать сложные структуры, но в этих случаях много работы человека.

Но вернемся к нашей сети. Что у нас есть. Пока есть только структура. Мы после создания структуры должны заполнить все коэффициенты.
e, R, a, b, c.

Мы получили некий черный ящик в него мы вводим три числа, а на выходе получаем одно. Даже такую структуру умом понять довольно сложно.
Почему ? Дело в том что выходное число будет образовывать негладкую функцию - она будет рваться - ведь нейроны часто будут отключаться и не пропускать сигнал, а самое главное выходной нейрон будет включаться и выключаться. Пока некая цепочка нейронов включена - выходная функция будет гладкой.
Как только хотя-бы один нейрон из цепочки выключится - выходная функция будем иметь разрыв.

Ну и что с этим делать ? Ведь хрень же полная получилась. Далее мы начинаем учить нашу сеть.
И тут мы понимаем, что все что было раньше просто игрушки. Нам нужны критерии, нам нужно понять чего мы хотим.
Предположим что x y z - это координаты поверхности лица человека. И мы значит хотим распознать лицо.
Мы сканируем нашего человека - и каждую точку прогоняем через нашу нейросеть и подбираем коэффициенты что бы на выходе получить от 0 до 10 - но ближе к 10.
И все точки лица при прогоне через нашу нейросеть должны быть приемущественно ближе к 10 , нежели к 0. А это уже статистика.
И к выходным числам мы сможем применять дисперсию и другие хитрости из статистики.

Далее мы несколько раз одного и того же человека сканируем и достигаем коэффициентами того что получаем много числе с приемущественным смещением к 10.

И когда мы человека этого же в другой год отсканируем, введем данные в нейросеть - то получим не просто да нет. А получим вероятность что это тот человек.
При долгой работе мы сможем анализировать вероятности. Ну что бы не было вероятности как в анегдоте - какая вероятность на улице встретить динозавра -
да просто 50% - либо встретишь либо нет.

Почему мы получим вероятность - да потому что нейросеть нам выдаст более 1000 результатов, мы их статистически обработаем. И по форме распределения будем судить о точности попадания.

Как распознают лица я не знаю. Просто привел такой гипотетический пример. На самом деле используют корреляционную функцию, но нейронные сети тоже при этом используют, и статистику тоже. Но для примера сойдет и так - как говорил персонаж мультика И так сойдёт.

Надеюсь мне удалось немного объяснить суть явления нейронных сетей.
Если понравилось - подписываемся на канал, ставим лайки.

Если кто ответит творчески на вопрос ниже - будет продолжение.
Вопрос ! Есть некоторый датчик измерения полезной величины, на который влияет влажность воздуха, магнитные поля, температура, ветер.
Каждый этот параметр можно измерить. Можно ли (и как образно) с помощью нейросети преобразовать выходной сигнал датчика так что бы в нем остался только сигнал полезной величины.

Вопрос для гуманитариев, вдруг Вам датчики неинтересны. Можно ли с помощью нейросети спрогнозировать распределение короновируса по планете.
Ну либо любой другой заразы. Или можно ли спрогнозировать движение толпы на майдане. Кроме ответа Да или Нет - хотелось бы увидеть какой-нибудь комментарий.

__________________________________________________
___________
Критика нейронных сетей.
Что мы делаем когда учим нашу сеть.
Вначале мы тупо подбираем все коэффициенты и получаем все варианты при которых достигаем положительного результат (это для одного случае) .
В следующем случае тоже самое делаем только берем в расчет только те коэффициенты которые рабочие в первом случае.
В следующем случае берем только те коэффициенты которые и в первом и во втором случае дают результат.
А если в первом случаем коэффициенты не дадут результата во втором или третьем ?
Ну что-что - нужно переделывать структуру сети или менять функции или менять те коэффициенты, которые мы считали стабильными.
И вот мы так валандуемся и валандуемся пока не получится.
А параллельно с нами работают физики, которые хорошо понимают физику процесса и с помощью простых формул получают необходимый результат.
И ведь действительно, когда анализировали расчеты нейронных сетей всегда удавалось найти простую формулу или зависимость.

На самом деле математики придумывают сложные алгоритмы обучения, которые уже не тупо подбирают коэффициенты, а согласно сложному алгоритму.
И математики в процессе обучения делают так что бы обучающая программа могла менять структуру сети - добавлять узлы, добавлять связи, менять функции.
То есть программа занимается синтезом. По сути одна программа пишет другую программу, а та уже работает.
И заметим все это может работать на обычном компьютере, нейро-компьютер не обязательно нужно иметь.


__________________________________________________
_______________________
Предпосылки.
Я конечно хрень напишу. Но все предлагаю рассмотреть.
Когда математики научились решать дифференциальные уравнения. Получилось так что мы предполагаем что решение выглядит вот так
и пишем некую формулу с коэффициентами, а потом рассчитываем эти коэффициенты. Таким образом мы получаем решение.
Так же и нейронная сеть. Мы строим некую сеть и надеемся что она нам вычислит как надо то что нам надо.
А все вычисления - это подгонка коэффициентов и небольшие косметические изменения структуры.


__________________________________________________
__________________________
Объяснение. Тоже так себе.
По большой сути нейронная сеть - это большая матрица чисел или большая таблица - где по столбцам и строкам мы находим нужную ячейку. Теперь представьте 3-х мерную таблицу, а потом 5-ми мерную или более и вот мы по столбцам, строкам, рядам и др находим нужную ячейку где лежит число, объект, или даже функция.
Или нейронная сеть - это комплекс статистических комплексных расчетов.
Пока мы не меняем структуру сети - мы просто работаем с многомерной таблицей.
Как только мы меняем структуру сети - мы занимается синтезом, компьютер на котором работает эта программа начинает заниматься проектированием сети,
или программы или алгоритма. Вообще нейронная сеть может писать программы для компьютера, рисовать картины, проектировать целые компьютерные миры,
писать книги. Вопрос в том кто будет наслаждаться этими шедеврами ...
KLOD
Трэш ag1.gif
givigudze1
Если бы наша Элочка Людоедка на финишные вопросы ответила, было бы интереснее.
А так ну да трэш. Ну а ты как хотел, есть конфетки скителс из задницы единорога ?
Пока что вижу продолжение неинтересно.
givigudze1
Почему важно изучать науки

https://www.youtube.com/watch?v=U4uyBwDY10w

не знаю, наверное от скуки - алгебра, кибернетика, изучение подземных и надземных вод
givigudze1
Интервью с положительным рассказом о нейронных сетях

https://www.youtube.com/watch?v=6WzgkYb0Rw8

ПОЛКОВНИК КГБ РАССКАЗАЛ О НЕЙРОСЕТЯХ И РАЗВЕДКЕ // АНДРЕЙ МАСАЛОВИЧ | Люди PRO #159

Sanchous
Цитата(givigudze1 @ 23.12.2020, 7:42) *
Интервью с положительным рассказом о нейронных сетях

https://www.youtube.com/watch?v=6WzgkYb0Rw8

ПОЛКОВНИК КГБ РАССКАЗАЛ О НЕЙРОСЕТЯХ И РАЗВЕДКЕ // АНДРЕЙ МАСАЛОВИЧ | Люди PRO #159

Генацвале, а ты читал "Теория игр"? Моё мнение, что тебе зайдёт, вот ссылка если что https://www.livelib.ru/book/1001503215-teor...amalakar-diksit
givigudze1
Как-то пробовал. Это не про то.
Я даже какую-то книгу читал про игры с функциями и вычислениями, какая-то советская криповая книжка, вообще пустая.

В общем идея то моя не про то. Я бы хотел что бы мой читатель без образования понимал что происходит и не питал иллюзий.

Ну вот в последней моей ссылке - человек пишет умные книжки с кучей формул, а потом заявляет что у Алисы (голосового помошника) есть сарказм.
Хотя тот же Игорь Алишеров говорит что Алиса ниже табуретки по интеллекту, все её фразы запрограммированы.
Я бы хотел, что бы мой читатель был ближе к Алишерову, нежели к Андрею Масловичу.
И я считаю если человек сам хоть что-нибудь маленькое сделает сам, то будет понимать в общем как делается что-то большее.
Для просмотра полной версии этой страницы, пожалуйста, пройдите по ссылке.
Invision Power Board © 2001-2024 Invision Power Services, Inc.