Нейросети
 

Пишу диплом по контрастированию нейронных сетей. Предзащита уже очень скоро. Во время написания программы периодически возникают вопросы, а задать их некому. В нете информации мало и она чаще всего бесполезная, носит общий характер. Может есть кто-нибудь, кто эту тему понимает? Я бы периодически задавал возникающие вопросы. С меня пиво и респект:)

Текущий вопрос: на элемент нейросети при обратном функционировании на ее выход подавать dH/dy или (dH/dy)*y?
H - функция оценки
y - выходной сигнал
У меня в программе у одних элементов (синапсов) первый вариант, у других (нейронов) - второй. Меняю хоть что-нибудь, перестает обучаться в принципе.
Сейчас обучается примерно в 3 случаях из 4. Сделал проверку, что если сеть не обучилась за 300 шагов, сбрасываю веса синапсов опять на случайные и начинаю обучение заново. Однако это чит и дальше при контрастировании это вылезает. Думаю, что неправильно считаю градиент функции оценки по весам синапсов, поэтому и спрашиваю.