DS_INTERVIEW_LIB Telegram 1175
✔️ Почему Adam иногда требует меньше подбора гиперпараметров, чем SGD

▶️ Adam автоматически адаптирует шаг обучения на основе статистик градиентов. Это делает его более устойчивым к неудачно выбранным начальными learning rate.

▶️ В случае SGD неправильный выбор learning rate (слишком большой или слишком маленький) может серьёзно замедлить или даже сорвать обучение.
Adam же, благодаря нормализации по второй моментной оценке градиентов, сглаживает такие перекосы и чаще выходит на стабильный режим обучения без тонкой ручной настройки.

🐸 Библиотека собеса по Data Science
Please open Telegram to view this post
VIEW IN TELEGRAM
👍6



tgoop.com/ds_interview_lib/1175
Create:
Last Update:

✔️ Почему Adam иногда требует меньше подбора гиперпараметров, чем SGD

▶️ Adam автоматически адаптирует шаг обучения на основе статистик градиентов. Это делает его более устойчивым к неудачно выбранным начальными learning rate.

▶️ В случае SGD неправильный выбор learning rate (слишком большой или слишком маленький) может серьёзно замедлить или даже сорвать обучение.
Adam же, благодаря нормализации по второй моментной оценке градиентов, сглаживает такие перекосы и чаще выходит на стабильный режим обучения без тонкой ручной настройки.

🐸 Библиотека собеса по Data Science

BY Библиотека собеса по Data Science | вопросы с собеседований


Share with your friend now:
tgoop.com/ds_interview_lib/1175

View MORE
Open in Telegram


Telegram News

Date: |

How to create a business channel on Telegram? (Tutorial) Unlimited number of subscribers per channel Those being doxxed include outgoing Chief Executive Carrie Lam Cheng Yuet-ngor, Chung and police assistant commissioner Joe Chan Tung, who heads police's cyber security and technology crime bureau. Public channels are public to the internet, regardless of whether or not they are subscribed. A public channel is displayed in search results and has a short address (link). Telegram iOS app: In the “Chats” tab, click the new message icon in the right upper corner. Select “New Channel.”
from us


Telegram Библиотека собеса по Data Science | вопросы с собеседований
FROM American