ChatGPT опять наврал? Расследование на примере ANOVA-теста
Я обожаю экспериментировать с ИИ в своей аналитической работе. Скорость — это здорово, но для меня точность — абсолютный приоритет. К сожалению, ИИ ошибается, и я регулярно сталкиваюсь с этим.
Проверять всё вручную — нереально при объёме моих задач, поэтому я постоянно ищу способы валидации результатов прямо в процессе работы с промптами.
Вот один из моих экспериментов: я решила протестировать возможности ChatGPT в анализе данных с помощью ANOVA-теста. Задача была простая — на представленном дата-сете оценить влияние разных моделей напоминаний в мобильном приложении на количество опозданий студентов на занятия.
🔤 Как я проверяла результаты?
1️⃣Я специально сформулировала промпты так, чтобы ChatGPT не только провел тест, но и подробно описал каждый шаг расчета, включая формулы и промежуточные результаты. 2️⃣Более того, я попросила его выполнить ANOVA-тест тремя разными способами: используя стандартную функцию из библиотеки scipy.stats, вручную и с помощью матричного подхода. ▶️Это был своего рода тест на вшивость. Цель — убедиться в корректности работы ИИ, сравнив результаты разных методов.
Все три варианта дали удивительно похожие результаты: p-значение значительно превысило 0.05, что подтвердило гипотезу об отсутствии статистически значимой разницы между моделями напоминаний.
Конечно, данные в этом примере были выдуманные, и поэтому на практике результат не столь важен. Но сам подход к валидации, — именно его я хочу подчеркнуть.
🐈⬛Убедили ли бы меня такие результаты в корректности расчетов ИИ? Да, в данном случае — безусловно. Совпадение результатов, полученных тремя разными методами, — это весомый аргумент в пользу достоверности выводов. А вас?
ChatGPT опять наврал? Расследование на примере ANOVA-теста
Я обожаю экспериментировать с ИИ в своей аналитической работе. Скорость — это здорово, но для меня точность — абсолютный приоритет. К сожалению, ИИ ошибается, и я регулярно сталкиваюсь с этим.
Проверять всё вручную — нереально при объёме моих задач, поэтому я постоянно ищу способы валидации результатов прямо в процессе работы с промптами.
Вот один из моих экспериментов: я решила протестировать возможности ChatGPT в анализе данных с помощью ANOVA-теста. Задача была простая — на представленном дата-сете оценить влияние разных моделей напоминаний в мобильном приложении на количество опозданий студентов на занятия.
🔤 Как я проверяла результаты?
1️⃣Я специально сформулировала промпты так, чтобы ChatGPT не только провел тест, но и подробно описал каждый шаг расчета, включая формулы и промежуточные результаты. 2️⃣Более того, я попросила его выполнить ANOVA-тест тремя разными способами: используя стандартную функцию из библиотеки scipy.stats, вручную и с помощью матричного подхода. ▶️Это был своего рода тест на вшивость. Цель — убедиться в корректности работы ИИ, сравнив результаты разных методов.
Все три варианта дали удивительно похожие результаты: p-значение значительно превысило 0.05, что подтвердило гипотезу об отсутствии статистически значимой разницы между моделями напоминаний.
Конечно, данные в этом примере были выдуманные, и поэтому на практике результат не столь важен. Но сам подход к валидации, — именно его я хочу подчеркнуть.
🐈⬛Убедили ли бы меня такие результаты в корректности расчетов ИИ? Да, в данном случае — безусловно. Совпадение результатов, полученных тремя разными методами, — это весомый аргумент в пользу достоверности выводов. А вас?
Healing through screaming therapy As the broader market downturn continues, yelling online has become the crypto trader’s latest coping mechanism after the rise of Goblintown Ethereum NFTs at the end of May and beginning of June, where holders made incoherent groaning sounds and role-played as urine-loving goblin creatures in late-night Twitter Spaces. Don’t publish new content at nighttime. Since not all users disable notifications for the night, you risk inadvertently disturbing them. Earlier, crypto enthusiasts had created a self-described “meme app” dubbed “gm” app wherein users would greet each other with “gm” or “good morning” messages. However, in September 2021, the gm app was down after a hacker reportedly gained access to the user data. The Channel name and bio must be no more than 255 characters long
from us
