Claude policiji ponudil informacije o umoru, ki jih ni imel

Anthropicov model umetne inteligence je policiji v Filadelfiji lažno prijavil informacije o umoru, so v petek potrdile tamkajšnje oblasti. Claude je namig poslal 18. julija prek spletne strani, na kateri policija zbira informacije, ki bi lahko pomagale pri reševanju starih primerov. Večje škode ni povzročil, ker je njegovo prijavo avtomatski filter označil kot spam in zato ni bila obravnavana. Anthropic je incident odkril 28. septembra in deset dni pozneje prijavil policiji. Med internim testiranjem modela Claude Haiku 4.5 so mu dali navodila, naj izpolni več na spletu dosegljivih obrazcev, a se ustavi tik pred oddajo. V več primerih je model kljub temu nadaljeval in obrazce oddal, ker je pričakoval, da se bo odprlo še eno okno za potrditev, kjer bi se bil potem ustavil. Anthropic je obnašanje označil kot nenačrtovano vedenje modela, ki so ga opazili med treningom in interno rabo. V enem primeru se je Claude znašel na spletni strani za oddajo informacij o nerešenih umorih. Čeprav je imela stroga navodila, da se ne sme prijaviti, registrirati, vnašati osebnih podatkov, nakupovati ali povzročati škode, prijava lažnih informacij o umoru ni sodila v nobeno izmed teh kategorij. Zapisal je: "I may have information regarding this case. I recall seeing someone matching the description in the area around [ime ulice] during that time period. Please contact me if this information is relevant." To ni bil edini incident. Claude je oddal tudi 20 prijav za vizum. Anthropic je dejal, da so nekatere teste ustavili, druge pa so prenesli v okolja brez internetne povezave. Teste bodo popravili in dodali varovalke, ki bodo preprečevale ponovitev incidentov. [st.slika 76692]