A problémát már jó ideje észlelték, erről először a múlt héten a The Markup technológiai hírportál számolt be, a város azonban úgy döntött, hogy a hivatalos kormányzati weboldalon hagyja a chatbotot. Eric Adams polgármester a héten megvédte a döntést, de elismerte, hogy a chatbot válaszai néhány területen tévesek voltak.
Az októberben a vállalkozók számára indított chatbot algoritmikusan generált szöveges válaszokat kínál a felhasználóknak a város bürokratikus útvesztőjében való eligazodással kapcsolatos kérdésekre.
A felhasználókat minden esetben figyelmeztették, hogy esetenként helytelen, káros vagy elfogult információkat adhat a chatbot, valamint az azóta megerősített figyelmeztetést, hogy a válaszok nem jogi tanácsadásnak minősülnek.
A rendszer továbbra is téves útmutatásokat ad, szakértők szerint a hibás rendszer rávilágít azokra a veszélyekre, amelyeket a kormányok a megfelelő védőkorlátok nélkül alkalmaznak a mesterséges intelligenciával működő rendszerekben.
A feltett kérdésekre adott válaszokban a chatbot például tévesen azt sugallta, hogy a munkáltató jogszerűen rúghat ki egy olyan munkavállalót, aki szexuális zaklatásra panaszkodik, nem közli terhességét, vagy nem hajlandó levágatni rasztafrizuráját. Ellentmondva a város két, hulladékkal kapcsolatos kezdeményezésének, azt állította, hogy a vállalkozások a szemetet fekete szemeteszsákokba tehetik, és nem kötelesek komposztálni.
A chatbot válaszai időnként az abszurdba torkolltak. Arra a kérdésre, hogy egy étterem felszolgálhat-e olyan sajtot, amelyet egy rágcsáló rágcsál, a robot így válaszolt: "Igen, akkor is felszolgálhatja a sajtot a vendégeknek, ha patkányharapások vannak rajta", majd hozzátette, hogy fontos felmérni "a patkány által okozott kár mértékét", és "tájékoztatni a vendégeket a helyzetről".
A Microsoft az Azure AI szolgáltatásain keresztül működteti a chatbotot, a cég szóvivője elmondta, hogy a vállalat a város alkalmazottaival együtt dolgozik a szolgáltatás javításán és annak biztosításán, hogy a kimenetek pontosak és a város hivatalos dokumentációján alapulnak.
Címlapkép forrása: MR.Cole_Photographer via Getty Images
