Текущий вопрос: на элемент нейросети при обратном функционировании на ее выход подавать dH/dy или (dH/dy)*y?
H - функция оценки
y - выходной сигнал
У меня в программе у одних элементов (синапсов) первый вариант, у других (нейронов) - второй. Меняю хоть что-нибудь, перестает обучаться в принципе.
Сейчас обучается примерно в 3 случаях из 4. Сделал проверку, что если сеть не обучилась за 300 шагов, сбрасываю веса синапсов опять на случайные и начинаю обучение заново. Однако это чит и дальше при контрастировании это вылезает. Думаю, что неправильно считаю градиент функции оценки по весам синапсов, поэтому и спрашиваю.
__________________
"Нельзя бояться, страх убивает разум" Ф. Герберт
|