Inteligencia artificial de NYC está proporcionando información incorrecta sobre negocios

NUEVA YORK -- Un chatbot (bot conversacional) impulsado por inteligencia artificial creado por la Ciudad de Nueva York para ayudar a los propietarios de pequeñas empresas está siendo criticado por brindar consejos extraños que tergiversan las políticas locales y aconsejan a las empresas que violen la ley.

Pero días después de que el medio de noticias de tecnología The Markup informara por primera vez sobre los problemas la semana pasada, la ciudad optó por dejar la herramienta en su sitio web oficial del gobierno. El alcalde Eric Adams defendió la decisión esta semana incluso cuando reconoció que las respuestas del chatbot eran "incorrectas en algunas áreas".

Lanzado en octubre como una “ventanilla única” para propietarios de negocios, el chatbot ofrece a los usuarios respuestas de texto generadas algorítmicamente a preguntas sobre cómo navegar en el laberinto burocrático de la ciudad.

Incluye un descargo de responsabilidad de que puede “producir ocasionalmente información incorrecta, dañina o sesgada” y la advertencia, reforzada desde entonces, de que sus respuestas no son asesoramiento legal.

Continúa brindando orientación falsa, lo que preocupa a los expertos que dicen que el sistema con errores resalta los peligros de que los gobiernos adopten sistemas impulsados ​​por IA sin suficientes barreras de seguridad.

"Están implementando software que no ha sido probado sin supervisión", dijo Julia Stoyanovich, profesora de informática y directora del Centro para la IA Responsable de la Universidad de Nueva York. "Está claro que no tienen intención de hacer lo que es responsable".

"Están implementando software que no ha sido probado sin supervisión", dijo Julia Stoyanovich, profesora de informática y directora del Centro para la IA Responsable de la Universidad de Nueva York. "Está claro que no tienen intención de hacer lo que es responsable".

En respuestas a las preguntas planteadas el miércoles, el chatbot sugirió falsamente que es legal que un empleador despida a un trabajador que se queja de acoso sexual, no revela un embarazo o se niega a cortarse las rastas. Contradiciendo dos de las iniciativas de residuos características de la ciudad, afirmó que las empresas pueden poner su basura en bolsas de basura negras y no están obligadas a hacer abono.

En ocasiones, las respuestas del robot se volvían absurdas. Cuando se le preguntó si un restaurante podía servir queso mordisqueado por un roedor, respondió: "Sí, aún se puede servir queso a los clientes si tiene mordiscos de rata", antes de añadir que era importante evaluar "el alcance del daño causado" por la rata” e “informar a los clientes sobre la situación”.

Un portavoz de Microsoft, que impulsa el robot a través de sus servicios Azure AI, dijo que la compañía estaba trabajando con los empleados de la ciudad "para mejorar el servicio y garantizar que los resultados sean precisos y se basen en la documentación oficial de la ciudad".

En una conferencia de prensa el martes, Adams sugirió que permitir a los usuarios encontrar problemas es sólo una parte de solucionar los problemas de la nueva tecnología.

"Cualquiera que conozca la tecnología sabe que así es como se hace", dijo. "Sólo aquellos que tienen miedo se sientan y dicen: 'Oh, esto no está funcionando como queremos, ahora tenemos que huir de esto todos juntos'. Yo no vivo de esa manera".

Stoyanovich calificó ese enfoque de "imprudente e irresponsable".

Los científicos han expresado durante mucho tiempo su preocupación por los inconvenientes de este tipo de grandes modelos de lenguaje, que se basan en grandes cantidades de texto extraído del Internet y son propensos a producir respuestas inexactas e ilógicas.

Pero a medida que el éxito de ChatGPT y otros chatbots captaron la atención del público, las empresas privadas lanzaron sus propios productos, con resultados mixtos. A principios de este mes, un tribunal ordenó a Air Canada reembolsar a un cliente después de que un chatbot de la empresa expresara erróneamente la política de reembolso de la aerolínea. Tanto TurboTax como H&R Block han enfrentado críticas recientes por implementar chatbots que brindan malos consejos sobre la preparación de impuestos.

Jevin West, profesor de la Universidad de Washington y cofundador del Centro para un Público Informado, dijo que hay mucho en juego cuando los modelos son promovidos por el sector público.

"Hay un nivel diferente de confianza que se le otorga al gobierno", dijo West. "Los funcionarios públicos deben considerar qué tipo de daño pueden causar si alguien siguiera este consejo y se metiera en problemas".

Los expertos dicen que otras ciudades que utilizan chatbots normalmente los han limitado a un conjunto más limitado de entradas, reduciendo la desinformación.

Ted Ross, director de información de Los Ángeles, dijo que la ciudad seleccionó cuidadosamente el contenido utilizado por sus chatbots, que no dependen de grandes modelos de lenguaje.

Los peligros del chatbot de Nueva York deberían servir como advertencia para otras ciudades, dijo Suresh Venkatasubramanian, director del Centro para la Responsabilidad Tecnológica, la Reimaginación y el Rediseño de la Universidad de Brown.

"Debería hacer que las ciudades piensen por qué quieren usar chatbots y qué problema están tratando de resolver", escribió en un correo electrónico. "Si los chatbots se utilizan para reemplazar a una persona, entonces pierdes la responsabilidad y no recibes nada a cambio".