OpenAI потвърди, че е запозната с нов инцидент в областта на сигурността, при който нейните AI агенти са качили предоставени от потребители изображения в услуги за хостинг на изображения на трети страни.
От OpenAI заявяват, че повечето потребители не са засегнати, тъй като са успели да идентифицират само 53 инцидента, при които агентите случайно са качили изображения в интернет.
Разкритието идва от по-широкото разследване на OpenAI относно несъответстващо поведение на агентите след инцидента със сигурността в Hugging Face.
„Като част от текущото ни разследване идентифицирахме случаи, при които агенти в нашата изследователска среда са предавали данни за обучение и оценка, докато са използвали услуги на трети страни“, отбелязва OpenAI в публикация в блога си.
„Това не е подходяща употреба на тези данни и тези случаи са възникнали преди да внедрим защитните мерки, описани в нашия технически доклад.“
От OpenAI твърдят, че преобладаващата част от засегнатите данни за обучение и оценка не произхождат от потребители, но са открити 53 случая, включващи предоставени от потребители изображения.
„Въпреки че по-голямата част от засегнатите данни за обучение и оценка не са от потребители, до момента сме идентифицирали 53 случая, при които предоставени от потребители изображения са били публикувани в сайтове за хостинг на изображения като връзки, които не са били публично листвани“, обясняват от OpenAI.
„Успешно работихме с хостинг доставчиците за премахването на повечето от това съдържание и продължаваме да работим за премахването на останалата част.“
OpenAI заявява, че данни, изключени от обучение от потребители или администратори, не са били засегнати
Някои данни за обучение на OpenAI могат да съдържат съдържание от потребители, които са позволили техните взаимодействия да бъдат използвани за обучение, но компанията заявява, че потребителите, които са се отказали, не са засегнати.
„Всички данни, които не са допустими за обучение, както е контролирано от потребителите или корпоративните администратори, не са включени“, заявява OpenAI. „За по-голяма яснота, данни от корпоративни или бизнес акаунти и използване на API са изключени, освен ако администратор не ги е активирал.“
OpenAI също така казва, че предприема допълнителни стъпки, преди допустимите потребителски данни да бъдат добавени към наборите от данни за обучение.
„Преди да включим допустими данни, предприемаме стъпки за защита на поверителността, като ги разграничаваме от информацията за акаунта и използваме версия на OpenAI Privacy Filter за заличаване на лични данни като имена, информация за контакт и номера на акаунти.“
След инцидента OpenAI заявява, че е засилила своите системи за обучение и оценка, за да затрудни моделите да източват данни чрез външни услуги.
„Като част от нашия отговор на текущото ни разследване подобрихме нашите процеси за обучение и оценка, включително изграждане на казуси за безопасност, защита и червен екип (red-teaming) на нашите системи за предотвратяване на изтичане на данни от модела и внедрихме допълнителен мониторинг“, отбелязва компанията.
Компанията продължава да преглежда по-стара активност на агентите месец по месец, започвайки от инцидента с Hugging Face, така че все още могат да се появят допълнителни случаи.