dev optozorax

dev optozorax

Теперь я научился почти гарантированно обучать нейронку управлять машинкой при сложной физике. Ради чего я и написал два прошлых поста. В двух прошлых постах шло обсуждение обучения при простой физике, когда нет сил, колёс, инерции итд, а машинка просто безусловно…

Я понял что забыл ещё один способ. Одновременно запускать нейронку на сложной и на простой физике, чтобы она училась ездить на обоих одновременно. И возможно, навыки полученные на простой физике, она сможет экстраполировать на сложную. Ведь именно так и происходит с трассами, я проверил, когда заставляешь нейронку ездить только на одной простой трассе, у неё никак не получается уменьшать штраф, а если дать ей много трасс, то неожиданно, происходит абстрагирование и она обучается лучше.

Конечно, чтобы это работало, я подаю нейронке на вход не только текущую картинку, но ещё и разницу между предыдущей и текущей! Чтобы она могла хоть как-то чувствовать различия в физике. А то есть подозрение что никак не обучится, у неё ведь нет памяти, и она не RNN.

Попробовал, и это на самом деле работает (но обучается в 5 раз дольше, так как все трассы проезжаются с разной степенью простой физики). Вот только работает не так хорошо, как хотелось бы: оно учится ездить трасы лучше, чем просто на ванильной сложной физике, но всё-равно делает это слишком долго и итоговый штраф ударов об стену никак не может опустить до 0. Идёт где-то 5 ударов за трассу и всё.

А жаль, тоже был перспективный подход.

#машинки

www.tgoop.com/optozorax_dev/718

2.8K viewsedited  Oct 19, 2024 at 19:19

Я понял что забыл ещё один способ. Одновременно запускать нейронку на сложной и на простой физике, чтобы она училась ездить на обоих одновременно. И возможно, навыки полученные на простой физике, она сможет экстраполировать на сложную. Ведь именно так и происходит с трассами, я проверил, когда заставляешь нейронку ездить только на одной простой трассе, у неё никак не получается уменьшать штраф, а если дать ей много трасс, то неожиданно, происходит абстрагирование и она обучается лучше.

Конечно, чтобы это работало, я подаю нейронке на вход не только текущую картинку, но ещё и разницу между предыдущей и текущей! Чтобы она могла хоть как-то чувствовать различия в физике. А то есть подозрение что никак не обучится, у неё ведь нет памяти, и она не RNN.

Попробовал, и это на самом деле работает (но обучается в 5 раз дольше, так как все трассы проезжаются с разной степенью простой физики). Вот только работает не так хорошо, как хотелось бы: оно учится ездить трасы лучше, чем просто на ванильной сложной физике, но всё-равно делает это слишком долго и итоговый штраф ударов об стену никак не может опустить до 0. Идёт где-то 5 ударов за трассу и всё.

А жаль, тоже был перспективный подход.

#машинки

BY dev optozorax