Вход | Регистрация


Информационные технологии :: Математика и алгоритмы

Решил немного для разнообразия заняться нейронными сетями

Решил немного для разнообразия заняться нейронными сетями
Я
   мой_ник
 
16.04.18 - 23:36
Может, кто из форума знает специализированные живые форуму по данной тематике? ну или ответит на такой вопрос:

Вопрос по поводу того, почему функция ошибки в нейронных сетях это квадрат разности правильного ответа и ответа выходного нейрона сети E=(a-f(х))^2 , где а - правильный ответ, а Е - ошибка конкретного выходного нейрона, ну а f(x) - это сигмоида.

Градиентный спуск, по идее это поиск градиента, т.е. вектора указывающий направление изменения скорости функции, относительно аргументов, т.е. поиск производных, по каждому аргументу и определение направления куда двигаться, что бы найти минимум функции.

По сути должна быть функция у которой в точке где ошибка равна 0 должен быть минимум, а минимум это по идее там где скорость изменения функции стремиться к 0, т.е. производная в точке минимума функции равна 0 и для нейронных сетей и была выбрана функция ошибки E=(a-f(х))^2, что она в точке минимума имеет значение производной равной 0, я правильно размышляю или не очень)?
 
 
   Darych
 
1 - 16.04.18 - 23:37
форумом, Паш, в который раз ошибся
   мой_ник
 
2 - 16.04.18 - 23:38
(1) так написал же в самом начале, может кто знает нужный живой форум по данной тематике...
   Darych
 
3 - 16.04.18 - 23:43
   мой_ник
 
4 - 16.04.18 - 23:44
шутник
   Йохохо
 
5 - 16.04.18 - 23:46
зачем тебе это? чтобы заработать на этом надо осваивать фреймворки, а там понимания не нужно
   vs84
 
6 - 16.04.18 - 23:48
(0) "я правильно размышляю?"
Да, именно так люди и размышляют. Но лучше желать это не вслух - мы все слышим и нам это не нравиться.
   мой_ник
 
7 - 16.04.18 - 23:50
(5) нет, написал же хочу понять принцип сам по себе, а в частности почему функция ошибки элемента нейронной сети именно такая,  а не другая
   ВРедная
 
8 - 16.04.18 - 23:50
(0) http://www.cyberforum.ru/ai/
Тут ведется общение на эту тему, не знаю, правда, насколько результативно
   мой_ник
 
9 - 16.04.18 - 23:51
(8) спасибо
   Йохохо
 
10 - 16.04.18 - 23:52
(7) чтобы использовать наработки тервера, взяв формулу дисперсии
 
 Рекламное место пустует
   vs84
 
11 - 16.04.18 - 23:54
(10) "взяв формулу дисперсии"
диспепсии, двоечник!
   Йохохо
 
12 - 16.04.18 - 23:54
(11) откуда вас столько разморозилось?
   Darych
 
13 - 16.04.18 - 23:56
(11,12) )))))
   мой_ник
 
14 - 16.04.18 - 23:56
(10) там простая формула, сумма квадратов разности по всем выходным нейронам, если там и есть часть формулы, то почему не вся, а только квадрат разности?
   Darych
 
15 - 17.04.18 - 00:00
так "сумма квадратов разности" или "квадрат разности"?
   мой_ник
 
16 - 17.04.18 - 00:04
(15) есть функция ошибки сети, она характеризуется как сумма ошибок всех нейронов сети по всем примерам, если представить, что выходной нейрон один и пример один, то можно в конкретном случае свести к квадрату разности E=(a-f(х))^2 для данного конкретного нейрона, почему выбрана именно эта функция определения ошибки, а не какая-то другая, почему разность правильного ответа и ответа нейрона возводят в квадрат?
   Darych
 
17 - 17.04.18 - 00:07
млин.. ну наверное надо почитать и подружиться с матаном?.. КЭП
   ВРедная
 
18 - 17.04.18 - 00:16
(17) В данном случае еще и с математической статистикой
   мой_ник
 
19 - 17.04.18 - 00:22
(18) мне как бы ответ на вроде бы простой вопрос, почему выбрана эта формула, а не какая-либо другая, ну скажем, в рамках данной задачи она оказалось самой простой или что-то в этом роде..
   Darych
 
20 - 17.04.18 - 00:34
ппц.. квадрат гипотинузы равен сумме квадратов катетов - это Пифагор просто взял потому, как красиво получилось?
   мой_ник
 
21 - 17.04.18 - 00:38
(20) вот это и спрашиваю, в чем математическая обоснованность именно такой формулы ошибки,А  не какой-то другой, я вижу, то , что находить минимум данной функции имеется возможным, в отличие от других вариантов, может еще какие-то причины есть, хотелось бы узнать, о них или что почитать про это...только не весь матан там или статистику, а что-то конкретное
   Darych
 
22 - 17.04.18 - 00:42
какая в опу "математическая обоснованность"? нет такого понятия "математическая обоснованность". Хорош пить/дуть/употреблять
   мой_ник
 
23 - 17.04.18 - 00:51
(22) ладно не знаешь, так и скажи, не знаю, почему эта, а не к примеру сумма разности по модулю или еще чего.
   Darych
 
24 - 17.04.18 - 00:54
(23) ))) причем здесь знаешь/не знаешь. Это же математика - тут все можно вывести и доказать)).. это та долпаепп
   Волшебник
 
25 - 17.04.18 - 07:16
весна...
   vde69
 
26 - 17.04.18 - 07:25
возможно по тому, что сплайны так строятся?
   Bigbro
 
27 - 17.04.18 - 07:35
потому что большие отклонения от искомого значения должны давать больший вклад в ошибку. и должно быть исключено влияние знака ошибки.
при указанных требованиях квадратичная функция самое простое.
сколько классов образования нужно иметь чтобы не понимать настолько очевидных вещей?
   Pahomich
 
28 - 17.04.18 - 07:47
(0) Из лучших по нейросетям конечно фишки.нет, там и разности и квадраты и фишки правильно ложаться!
   мой_ник
 
29 - 17.04.18 - 09:13
(27) вот уже ближе, про это я то же думал, что сдвиг в торону ошибки уменьшается в пропорции, но опять же почему не 4я степень или по модулю, ладно раз самое простое, значит такой ответ.
   Йохохо
 
30 - 17.04.18 - 09:17
(29) почитай что такое метрика и дисперсия


Список тем форума
Рекламное место пустует  Рекламное место пустует
ВНИМАНИЕ! Если вы потеряли окно ввода сообщения, нажмите Ctrl-F5 или Ctrl-R или кнопку "Обновить" в браузере.
Тема не обновлялась длительное время, и была помечена как архивная. Добавление сообщений невозможно.
Но вы можете создать новую ветку и вам обязательно ответят!
Каждый час на Волшебном форуме бывает более 2000 человек.
Рекламное место пустует