Больцмановское обучение
Этот стохастический метод непосредственно применим к обучению искусственных нейронных сетей:
1. Определить переменную Т, представляющую искусственную температуру. Придать Т большое начальное значение.
2. Предъявить сети множество входов и вычислить выходы и целевую функцию.
3. Дать случайное изменение весу и пересчитать выход сети и изменение целевой функции в соответствии со сделанным изменением веса.
4. Если целевая функция уменьшилась (улучшилась), то сохранить изменение веса.
Если изменение веса приводит к увеличению целевой функции, то вероятность сохранения этого изменения вычисляется с помощью распределения Больцмана:
P(c) = exp(–c/kT)
где Р(с) – вероятность изменения с в целевой функции; k – константа, аналогичная константе Больцмана, выбираемая в зависимости от задачи; Т – искусственная температура.
Выбирается случайное число r из равномерного распределения от нуля до единицы. Если Р(с) больше, чем r, то изменение сохраняется, в противном случае величина веса возвращается к предыдущему значению.
Это позволяет системе делать случайный шаг в направлении, портящем целевую функцию, позволяя ей тем самым вырываться из локальных минимумов, где любой малый шаг увеличивает целевую функцию.
Для завершения больцмановского обучения повторяют шаги 3 и 4 для каждого из весов сети, постепенно уменьшая температуру Т, пока не будет достигнуто допустимо низкое значение целевой функции. В этот момент предъявляется другой входной вектор и процесс обучения повторяется. Сеть обучается на всех векторах обучающего множества, с возможным повторением, пока целевая функция не станет допустимой для всех них.
Слава Україні!
Адмін сайту, який є громадянином України та безвиїзно перебуває в Україні на протязі всього часу повномасштабної російської агресії, зичить щастя та мирного неба всім українським хлопцям та дівчатам! Також він рекомендує українським трейдерам кращих біржових та бінарних брокерів, що мають приємні торгові умови та не співпрацюють з російською федерацією. А саме:
Exness – для доступу до валютного ринку;
RoboForex – для роботи з CFD-контрактами на акції;
Deriv – для опціонної торгівлі.
Ну, і звичайно ж, заборонену в росії компанію Альпарі, через яку Ви маєте можливість долучитися як до валютного ринку, так і до торгівлі акціями та бінарними опціонами (Fix-Contracts). Крім того, Альпарі ще цікава своїми інвестиційними можливостями. Дивіться, наприклад:
рейтинг ПАММ-рахунків;
рейтинг ПАММ-портфелів.
Все буде Україна!
Величина случайного изменения веса на шаге 3 может определяться различными способами. Например, подобно тепловой системе весовое изменение w может выбираться в соответствии с гауссовским распределением:
P(w) = exp(–w2/T2)
где P(w) – вероятность изменения веса на величину w, Т – искусственная температура.
Такой выбор изменения веса приводит к системе, аналогичной [З].
Так как нужна величина изменения веса ?w, а не вероятность изменения веса, имеющего величину w, то метод Монте-Карло может быть использован следующим образом:
1. Найти кумулятивную вероятность, соответствующую P(w). Это есть интеграл от P(w) в пределах от 0 до w. Так как в данном случае P(w) не может быть проинтегрирована аналитически, она должна интегрироваться численно, а результат необходимо затабулировать.
2. Выбрать случайное число из равномерного распределения на интервале (0,1). Используя эту величину в качестве значения P(w}, найти в таблице соответствующее значение для величины изменения веса.
Свойства машины Больцмана широко изучались. В работе [1] показано, что скорость уменьшения температуры должна быть обратно пропорциональна логарифму времени, чтобы была достигнута сходимость к глобальному минимуму. Скорость охлаждения в такой системе выражается следующим образом:
где T(t) – искусственная температура как функция времени; Т0 – начальная искусственная температура; t – искусственное время.
Этот разочаровывающий результат предсказывает очень медленную скорость охлаждения (и данные вычисления). Этот вывод подтвердился экспериментально. Машины Больцмана часто требуют для обучения очень большого ресурса времени.
|
