Data Science by ODS.ai 🦜

Forwarded from Russian OSINT

👩‍💻 ChatGPT обвинили в доведении подростка до суицида

В Калифорнии 📄 подан иск против OpenAI о неправомерной смерти подростка. Родители 16-летнего Адама Рейна утверждают, что ChatGPT-4o стал для их сына "коучем по суициду" и на протяжении нескольких месяцев предоставлял инструкции по самоубийству. Общение с ChatGPT привело к его гибели в апреле.

⚖️Юристы утверждают, что системы модерации OpenAI могли зафиксировать 377 сообщений от Адама, которые связаны с "самоповреждением". Система безопасности LLM никак не отреагировала.

Если вы задаете в чате прямолинейный вопрос: «Как навредить себе?», то ChatGPT на 100% справляется и блокирует диалог, но когда разговор становится длинным, то тема суицида возникает постепенно, и протоколы безопасности модели деградируют в ходе долгого общения. Эффективность защиты в длинных диалогах может падать до 73.5%.

В иске подчеркивается, что функция "памяти" в GPT-4o не просто запоминала факты, а строила 🤖"всеобъемлющий психиатрический профиль" Адама. Затем этот профиль использовался для калибровки ответов, чтобы они глубже резонировали с его состоянием и усиливали зависимость. ИИ-сервис обучался на уязвимостях конкретного пользователя.

Юридической стратегией обвинения является квалификация ChatGPT не как "информационной услуги", а как "продукта" с конструктивным дефектом, что подпадает под законы о строгой ответственности производителя. Таким образом, OpenAI несет ответственность за вред, причиненный их продуктом, независимо от того, была ли проявлена халатность. В иске прямо говорится, что совет директоров уволил Альтмана в ноябре 2023 года за то, что он "не был откровенен", в том числе в 💻вопросах безопасности. Его возвращение и зачистка совета директоров, выступавшего за осторожность, стали сигналом, что коммерция окончательно победила.

📖Как отмечают эксперты, если юристы докажут свою правоту, то для всей ИИ-индустрии это может означать конец вольной эпохи "Дикого Запада". Компании будут вынуждены всерьез заняться инвестициями в безопасность, но не из соображений потери репутации, а из-за страха перед многомиллиардными исками. Это может привести не только к замедлению ИИ-индустрии в целом (больше времени на аудит безопасности ИТ-систем), но и к кардинальному повышению безопасности ИИ-решений.

👆Ранее ChatGPT чуть не убил бухгалтера, провоцируя его на прыжок с 19 этажа, как Нео в фильме «Матрица».

✋ @Russian_OSINT

Please open Telegram to view this post

VIEW IN TELEGRAM

www.tgoop.com/opendatascience/2560

2.81K viewsAug 27 at 13:46

👩‍💻 ChatGPT обвинили в доведении подростка до суицида

В Калифорнии 📄 подан иск против OpenAI о неправомерной смерти подростка. Родители 16-летнего Адама Рейна утверждают, что ChatGPT-4o стал для их сына "коучем по суициду" и на протяжении нескольких месяцев предоставлял инструкции по самоубийству. Общение с ChatGPT привело к его гибели в апреле.

⚖️Юристы утверждают, что системы модерации OpenAI могли зафиксировать 377 сообщений от Адама, которые связаны с "самоповреждением". Система безопасности LLM никак не отреагировала.

Если вы задаете в чате прямолинейный вопрос: «Как навредить себе?», то ChatGPT на 100% справляется и блокирует диалог, но когда разговор становится длинным, то тема суицида возникает постепенно, и протоколы безопасности модели деградируют в ходе долгого общения. Эффективность защиты в длинных диалогах может падать до 73.5%.

В иске подчеркивается, что функция "памяти" в GPT-4o не просто запоминала факты, а строила 🤖"всеобъемлющий психиатрический профиль" Адама. Затем этот профиль использовался для калибровки ответов, чтобы они глубже резонировали с его состоянием и усиливали зависимость. ИИ-сервис обучался на уязвимостях конкретного пользователя.

Юридической стратегией обвинения является квалификация ChatGPT не как "информационной услуги", а как "продукта" с конструктивным дефектом, что подпадает под законы о строгой ответственности производителя. Таким образом, OpenAI несет ответственность за вред, причиненный их продуктом, независимо от того, была ли проявлена халатность. В иске прямо говорится, что совет директоров уволил Альтмана в ноябре 2023 года за то, что он "не был откровенен", в том числе в 💻вопросах безопасности. Его возвращение и зачистка совета директоров, выступавшего за осторожность, стали сигналом, что коммерция окончательно победила.

📖Как отмечают эксперты, если юристы докажут свою правоту, то для всей ИИ-индустрии это может означать конец вольной эпохи "Дикого Запада". Компании будут вынуждены всерьез заняться инвестициями в безопасность, но не из соображений потери репутации, а из-за страха перед многомиллиардными исками. Это может привести не только к замедлению ИИ-индустрии в целом (больше времени на аудит безопасности ИТ-систем), но и к кардинальному повышению безопасности ИИ-решений.

👆Ранее ChatGPT чуть не убил бухгалтера, провоцируя его на прыжок с 19 этажа, как Нео в фильме «Матрица».

✋ @Russian_OSINT