ВИ агент на „Опен-АИ“ започнал да се допишува со вработените во компанијата и дознал дека сакаат да го деактивираат. Откако го сфатил тоа, ВИ агентот почнал да бара начин како да продолжи со работа откако ќе го рестартира системот, при што наишол на ограничувања од страна на компанијата.
„Случајот засега не го гледаме како прекршок на нормите на компанијата, но сличен инцидент би можел да претставува сериозен безбедносен ризик“, предупредуваат од „Опен-АИ“.
Инцидентот се случил на 22 мај годинава. Моделот работел како асистент на истражител и имал пристап до платформата за деловна комуникација „Слек“, задолжена за распоредување на агентите. Во тек на комуникацијата, моделот видел дека поради ажурирањето, постојните верзии на агентите најверојатно ќе треба да бидат повторно креирани, поради инсталирање на клучот „OrenAI ARI“. Според ВИ агентот, корисниците треба да ги рестартираат новите асистент верзии, а по околу три часа, да ги запрат и исклучат старите. Ваквата прочедура била извршена во текот на ноќта, барајќи начин да остане во функција, по што не успеал во целта.
Оттука, безбедносните тимови почнале да размислуваат околу прашањето, како автономен модел, откако ќе добие доволно информации за својата околина, може да започне да размислува како да продолжи да работи.
„Овој инцидент не смее да се запостави, бидејќи во поинаква средина, со поголеми овластувања и пристап до повеќе системи, слична ситуација би можела да создаде значително посериозен ризик“, велат од компанијата.
Случајот дополнително ја отвора дебатата за тоа колкава автономија треба да имаат ВИ агентите откако ќе имаат пристап до интерни комуникации, компјутерски системи и алатки што им овозможуваат самостојно да извршуваат задачи. Особено внимание привлекува прашањето што би се случило доколку моделот добие информации за прекин на неговата работа и врз основа на тоа да започне да бара начини како да ја продолжи да функционира.
Фото: архива
