data будни

🎠 астрологи объявили неделю ии

поэтому вот три ссылки в тему; ссылки получились по возрастающему уровню сложности — можно найти на свой вкус


I. подкаст «вы находитесь здесь»

мастерски сделанный подкаст от студии Либо/Либо про историю изучения машинного обучения: первые автоматоны, первые соревнования по распознаванию текста и картинок, первые гонки беспилотных машин и т.д.

всё разбито на идеальные серии по ~25 минут — удобно слушать в дороге или на обеде. Каждая серия раскрывает свою тему. Рекомендую.

https://libolibo.ru/nowyouarehere


II. выпуск Подлодки про приложения на ллм

интересный гость с кучей релевантного опыта и чётким, структурированным рассказом — помогло связать в голове разные кусочки в единую картину.

вот все жалуются, что сети иногда галлюцинируют; на самом деле это не так — сети галлюцинируют 100% времени. Это суть их работы — придумывать ответ, которого до этого не было.

главное, что надо знать про работу с нейросетями — их ответы вероятностные; т.е. даже после всего обучения один раз на миллион ответов она может нагрубить пользователю или откровенно выдумать ответ.

это сильно отличается от того как привыкли работать с инструментами разработчики. Чтобы исправить нежелательное поведение модели, нужно менять не саму модель, а её обучающую выборку — на каждый кейс добавить правильных примеров и перезапустить обучение.

как правильно замечает гость, самое сложно в работе с ллм — задать нужный вопрос, т.е. найти применение этому инструменту (я примерно здесь!)

прошлись по методам промпт-инжиниринга — как можно быстро улучшить выдачу от нейросети:

→ базовый метод — жать кнопку «ответить снова» пока ответ не будет устраивать; вполне рабочий вариант для старта, рано или поздно сеть может догаллюционировать до приемлемого ответа

→ ещё сильно помогает добавить к вопросу пример ожидаемого ответа; никто не знает, почему это работает, но кажется это подксказывает сети в какой области собственных знаний найти подходящий ответ

→ если попросить сеть рассуждать по шагам, то вероятность промежуточной ошибки снижается

→ к цепочке рассуждений можно попросить добавить больше одного варианта и выбрать подходящий — из цепочки получится дерево рассуждений

→ langchain — если ответ сети отправить на проверку другой сети, это тоже снизит вероятность явного бреда (на бинарные вопросы сеть отвечает с бо́льшим успехом)

https://www.tgoop.com/podlodkanews/1313


III. большой обзор подходов к промпт-инжинирингу

Seattle Data Guy ретвитнул рестакнул большую статью. Я прочитал где-то треть и мозг уже вспух. Похоже на научный пейпер: рассмотрены все подходы к улучшению ответов ллм, всё по порядку и по полочкам. И на некоторые топики есть отдельные лонгриды.

в целом, список тем такой же как в подкасте Подлодки — можно либо слушать, либо читать

https://substack.com/home/post/p-143156742

Либо🔺Либо Мы делаем подкасты

Если вам нужен подкаст или консультация, пишите на [email protected]

www.tgoop.com/data_days/361

1.4K viewsSasha Mikhailov, May 23 at 19:48

🎠 астрологи объявили неделю ии

поэтому вот три ссылки в тему; ссылки получились по возрастающему уровню сложности — можно найти на свой вкус


I. подкаст «вы находитесь здесь»

мастерски сделанный подкаст от студии Либо/Либо про историю изучения машинного обучения: первые автоматоны, первые соревнования по распознаванию текста и картинок, первые гонки беспилотных машин и т.д.

всё разбито на идеальные серии по ~25 минут — удобно слушать в дороге или на обеде. Каждая серия раскрывает свою тему. Рекомендую.

https://libolibo.ru/nowyouarehere


II. выпуск Подлодки про приложения на ллм

интересный гость с кучей релевантного опыта и чётким, структурированным рассказом — помогло связать в голове разные кусочки в единую картину.

вот все жалуются, что сети иногда галлюцинируют; на самом деле это не так — сети галлюцинируют 100% времени. Это суть их работы — придумывать ответ, которого до этого не было.

главное, что надо знать про работу с нейросетями — их ответы вероятностные; т.е. даже после всего обучения один раз на миллион ответов она может нагрубить пользователю или откровенно выдумать ответ.

это сильно отличается от того как привыкли работать с инструментами разработчики. Чтобы исправить нежелательное поведение модели, нужно менять не саму модель, а её обучающую выборку — на каждый кейс добавить правильных примеров и перезапустить обучение.

как правильно замечает гость, самое сложно в работе с ллм — задать нужный вопрос, т.е. найти применение этому инструменту (я примерно здесь!)

прошлись по методам промпт-инжиниринга — как можно быстро улучшить выдачу от нейросети:

→ базовый метод — жать кнопку «ответить снова» пока ответ не будет устраивать; вполне рабочий вариант для старта, рано или поздно сеть может догаллюционировать до приемлемого ответа

→ ещё сильно помогает добавить к вопросу пример ожидаемого ответа; никто не знает, почему это работает, но кажется это подксказывает сети в какой области собственных знаний найти подходящий ответ

→ если попросить сеть рассуждать по шагам, то вероятность промежуточной ошибки снижается

→ к цепочке рассуждений можно попросить добавить больше одного варианта и выбрать подходящий — из цепочки получится дерево рассуждений

→ langchain — если ответ сети отправить на проверку другой сети, это тоже снизит вероятность явного бреда (на бинарные вопросы сеть отвечает с бо́льшим успехом)

https://www.tgoop.com/podlodkanews/1313


III. большой обзор подходов к промпт-инжинирингу

Seattle Data Guy ретвитнул рестакнул большую статью. Я прочитал где-то треть и мозг уже вспух. Похоже на научный пейпер: рассмотрены все подходы к улучшению ответов ллм, всё по порядку и по полочкам. И на некоторые топики есть отдельные лонгриды.

в целом, список тем такой же как в подкасте Подлодки — можно либо слушать, либо читать

https://substack.com/home/post/p-143156742

BY data будни