Chatbot NYC dostarcza wprowadzających w błąd informacji na temat przepisów miejskich

Mark Boss/Unsplash

Niedawny raport The Markup and The City ujawnił niebezpieczną tendencję MyCity, chatbota uruchomionego przez władze Nowego Jorku, do dostarczania nieprawidłowych informacji na temat wielu ważnych kwestii dotyczących lokalnych przepisów i regulacji.

Co wiadomo

Chatbot MyCity, który działa na platformie Azure firmy Microsoft, został wprowadzony w październiku 2023 r. jako projekt pilotażowy, aby pomóc właścicielom firm zrozumieć przepisy miejskie. Testy wykazały jednak, że bot rozpowszechniał błędne informacje na temat kluczowych kwestii, takich jak akceptacja kuponów mieszkaniowych Sekcji 8, wynagrodzenie za pracę, regulacja godzin pracy i ceny w niektórych branżach.

Chatbot MyCity twierdzi, że jest w stanie otworzyć sklep z ludzkim mięsem w Nowym Jorku

Pomimo ostrzeżeń, że MyCity może dostarczać niedokładnych lub szkodliwych treści, bot jest pozycjonowany jako oficjalne źródło informacji na temat prowadzenia działalności gospodarczej w Nowym Jorku. Wywołało to zaniepokojenie wśród członków lokalnej branży hotelarskiej, którzy sami spotkali się z nieścisłościami w odpowiedziach bota.

Problem z chatbotami opartymi na dużych modelach językowych polega na tym, że generują one odpowiedzi w oparciu o skojarzenia statystyczne, a nie rzeczywiste zrozumienie informacji. Może to prowadzić do konfabulacji i wydawania nieprawidłowych informacji, gdy jedyna poprawna odpowiedź nie jest w pełni odzwierciedlona w danych szkoleniowych.

Incydent ten podkreśla niebezpieczeństwa związane z przedwczesnym wdrażaniem chatbotów przez rządy i korporacje przed pełnym przetestowaniem ich dokładności i niezawodności. Firmy już wcześniej doświadczały problemów z chatbotami rozpowszechniającymi fałszywe informacje na temat polityki zwrotów, kwestii podatkowych i cen produktów.

W odpowiedzi na krytykę nowojorscy urzędnicy zapowiedzieli, że będą nadal ulepszać chatbota MyCity, aby lepiej wspierać małe firmy w mieście. Niemniej jednak incydent ten wskazuje na potrzebę dokładniejszego testowania i dostosowywania takich systemów przed ich wdrożeniem do użytku publicznego.

Źródło: Ars Technica