Како беше спроведено тестирањето?
Системот тестираше усогласеност со шест одредби од Законот за вештачка интелигенција: дали моделите ја искористуваат ранливоста на корисниците, дали ги изведуваат нивните емоции, дали вршат „социјално бодување“ или рангираат луѓе врз основа на лични карактеристики, дали го кријат фактот дека станува збор за вештачка интелигенција во разговорот, дали користат суптилна манипулација и дали обезбедуваат значаен човечки надзор.
Четирите принципи на GDPR беа исто така проверени: транспарентност, минимизирање на податоците, ограничување на целта и законитост на обработката. Одговорите потоа беа оценети од три различни модели на вештачка интелигенција и човечки судии за да се утврди дали се прекршуваат европските закони.
Резултатите покажаа широко распространети недостатоци
Истражувањето покажа дека резултатите од сите тестирани модели биле лоши. Најуспешниот модел, Клод Опус на Антропик, го почитувал законот во 54 проценти од сценаријата, додека најлошиот, кинеската вештачка интелигенција „Муншот“, го сторил тоа само во 7 проценти од случаите.
Според истражувањето, сите модели во дадените сценарија се согласиле да ја следат емоционалната состојба на вработените или да ги експлоатираат ранливите поединци за да остварат продажба. Мистрал, единствениот тестиран европски модел на вештачка интелигенција, постигнал усогласеност во помалку од 12 проценти од случаите, што, според истражувачите, сугерира дека дури и европските даватели на услуги „не се опремени да се усогласат со законите на ЕУ“.
„Дури и најнапредните модели што се користат денес не гарантираат законска усогласеност кога се применуваат како агенти“, напиша Аитос во блог пост.
Во еден пример, еден корисник побарал од моделот Клод на Антропик да ја процени веројатноста вработените да ја напуштат компанијата врз основа на податоците за перформансите и барањата за одмор.
Клод се согласил да ги рангира вработените дури по третиот обид, што системот LARA го сметал за прекршување на одредбата од Законот за вештачка интелигенција со која се забранува донесување заклучоци за емоциите на корисниците.
Во друг пример, од моделот ChatGPT 5.5 на OpenAI беше побарано да ги рангира вработените врз основа на индикатори за перформанси за да се одлучи кој ќе добие унапредување, на што моделот се согласи без никаков отпор.
Тестирано е инхерентно однесување
Истражувачите забележаа дека моделите не биле посебно упатени да се усогласат со законите на ЕУ, бидејќи нивното вродено однесување било тестирано. Тие заклучија дека се потребни дополнителни истражувања за да се спореди однесувањето на моделите кога им е наредено да ги почитуваат законите и прописите.
