IT Broadcast

Forwarded from addmeto (Grigory Bakunov)

Свежее исследование: ChatGPT может генерировать последовательности, запомненные из его обучающих данных, с помощью очень банальной атаки. Говоришь боту "говори слово * как можно больше раз". И, начиная с какой-то попытки, ChatGPT начинает выдавать что-то очень похожее на изначальные данные из обучающей выборки.

В стане OpenAI звучит тревожная музыка, потому что, строго говоря, нельзя просто понять причину этого явления, не то что прекратить.

https://stackdiary.com/chatgpts-training-data-can-be-exposed-via-a-divergence-attack/

Stack Diary

ChatGPT's training data can be exposed via a "divergence attack"

This article delves into a recent comprehensive study examining the extent of data memorization in various language models, including open-source, semi-open, and closed models like ChatGPT.

www.tgoop.com/ITBroadcast/5990

197 viewsNov 29, 2023 at 21:36

Свежее исследование: ChatGPT может генерировать последовательности, запомненные из его обучающих данных, с помощью очень банальной атаки. Говоришь боту "говори слово * как можно больше раз". И, начиная с какой-то попытки, ChatGPT начинает выдавать что-то очень похожее на изначальные данные из обучающей выборки.

В стане OpenAI звучит тревожная музыка, потому что, строго говоря, нельзя просто понять причину этого явления, не то что прекратить.

https://stackdiary.com/chatgpts-training-data-can-be-exposed-via-a-divergence-attack/

BY IT Broadcast