Oprogramowanie do wykrywania sztucznej inteligencji dyskryminuje osoby niebędące rodzimymi użytkownikami języka angielskiego - badanie
Programy komputerowe identyfikujące teksty generowane przez sztuczną inteligencję mogą dyskryminować osoby niebędące rodzimymi użytkownikami języka angielskiego.
Co wiemy.
Naukowcy przepuścili 91 angielskich tekstów napisanych przez osoby niebędące rodzimymi użytkownikami języka przez siedem popularnych detektorów GPT, aby określić ich dokładność. Wyniki pokazały, że takie artykuły były często fałszywie oznaczane jako wygenerowane przez sztuczną inteligencję.
Ponad połowa esejów napisanych na powszechnie uznawany egzamin z języka angielskiego TOEFL została oznaczona jako napisana przez sztuczną inteligencję. Co więcej, jeden z programów zgłosił, że 98% tekstów zostało wygenerowanych przez sztuczną inteligencję.
Kiedy programy te sprawdzały teksty napisane przez rodzimych użytkowników języka angielskiego, klasyfikowały je jako napisane przez ludzi w ponad 90% przypadków.
Naukowcy wyjaśniają tę dyskryminację sposobem, w jaki detektory odróżniają sztuczną inteligencję od ludzi. Programy są analizowane pod kątem tak zwanego "zaskoczenia tekstem " - miary "zaskoczenia " lub "zamieszania " modelu podczas próby przewidzenia następnego słowa w zdaniu.
Jeśli algorytm z łatwością radzi sobie z zadaniem, zaskoczenie tekstem jest oceniane jako niskie. Jeśli jednak następne słowo jest trudne do przewidzenia, wynik zaskoczenia tekstu jest wysoki.
Innymi słowy, jeśli dana osoba używa prostych słów i wyrażeń, program jest bardziej skłonny zaakceptować ją jako sztuczną inteligencję. Z reguły osoby niebędące rodzimymi użytkownikami języka często używają popularnych słów i wyrażeń, co prowadzi do dyskryminacji.
Po odkryciu wbudowanego uprzedzenia w programach rozpoznających sztuczną inteligencję, naukowcy poprosili ChatGPT o przepisanie esejów TOEFL przy użyciu bardziej złożonych sformułowań. Kiedy edytowane teksty zostały ponownie przepuszczone przez detektory, wszystkie zostały oznaczone jako ludzkie.
Według naukowców, wraz z pojawieniem się ChatGPT, wielu nauczycieli zaczęło postrzegać wykrywanie AI jako "kluczowy środek zaradczy zapobiegający nowej formie oszukiwania w XXI wieku". Ostrzegają jednak, że 99% dokładność deklarowana przez niektóre detektory jest "w najlepszym razie myląca".
Źródło: The Guardian.
