Un grupo de empleados actuales y antiguos de importantes empresas de inteligencia artificial (IA), principalmente de OpenAI, Google y Anthropic, han publicado una carta abierta. En ella advierten que la IA avanzada plantea serios riesgos y piden una mayor supervisión de la industria.
"Creemos en el potencial de la tecnología de IA para brindar beneficios sin precedentes a la humanidad", dice la carta, pero "también entendemos los graves riesgos que estas tecnologías representan".
Según la carta, los riesgos incluyen empeorar las desigualdades actuales, la manipulación y desinformación, y la pérdida de control de sistemas de IA autónomos que podrían acabar con la humanidad.
La carta dice que las empresas de IA tienen fuertes razones financieras para evitar una supervisión real, y que la forma en que se manejan no es suficiente para cambiar eso.
"Las empresas de IA poseen información confidencial sustancial sobre las capacidades y limitaciones de sus sistemas, la idoneidad de sus medidas de protección y los niveles de riesgo de diferentes tipos de daños", dicen los firmantes.
"Sin embargo, actualmente tienen solo débiles obligaciones de compartir parte de esta información con los gobiernos, y ninguna con la sociedad civil. No creemos que se pueda confiar en que todas la compartan voluntariamente".
La carta pide protecciones para los denunciantes en el sector de la IA. Mientras no haya una supervisión gubernamental real de las empresas de IA, los empleados actuales y antiguos son algunas de las únicas personas que pueden hacer que estas empresas rindan cuentas al público, dice la carta.
"Las protecciones comunes para denunciantes son insuficientes porque se enfocan en actividades ilegales, mientras que muchos de los riesgos que nos preocupan aún no están regulados", escriben, lo que también explica por qué seis empleados actuales y antiguos de OpenAI firmaron la carta de forma anónima. Cinco ex empleados de OpenAI firmaron con su nombre.
La carta pide a las empresas de IA que acepten:
- No establecer ni hacer cumplir acuerdos que prohíban criticar a la empresa en temas de riesgo, y no castigar las críticas relacionadas con el riesgo impidiendo ganancias financieras.
- Proporcionar una manera anónima y verificable para que los empleados actuales y antiguos planteen preocupaciones de riesgo a la junta directiva, reguladores y un grupo independiente apropiado con experiencia relevante.
- Apoyar una cultura de crítica abierta y permitir que los empleados actuales y antiguos planteen preocupaciones de riesgo sobre la tecnología de la empresa con el público, la junta, los reguladores o un grupo independiente apropiado con experiencia relevante, siempre que se protejan adecuadamente los secretos comerciales y otros derechos de propiedad intelectual.
- No tomar represalias contra empleados actuales o antiguos que hayan compartido información confidencial relacionada con riesgos después de que otros pasos hayan fallado.
Tres íconos de la investigación en IA, Geoffrey Hinton, Yoshua Bengio y Stuart Russell, apoyan la carta abierta. Pero sus ideas sobre los peligros de la IA, especialmente las existenciales de Hinton, no están exentas de controversia en la industria. Otros destacados investigadores de IA, como Yann LeCun, los critican por sembrar el miedo.
OpenAI sigue en el centro del debate sobre la seguridad de la IA
OpenAI ha sido criticada por cláusulas de silencio que impiden a los empleados que se van decir cosas negativas sobre ella. La empresa dice que está en proceso de eliminar estas cláusulas.
OpenAI también disolvió su equipo de riesgo de IA a largo plazo solo un año después de su creación, luego de que muchos investigadores en el campo dejaran la empresa. El líder del equipo, Jan Leike, explicó su renuncia diciendo que la cultura y los procesos de seguridad de OpenAI se habían quedado atrás de los "productos brillantes". Desde entonces se ha unido al competidor Anthropic.
El despido y posterior recontratación de Sam Altman en noviembre de 2023 también se basó en preocupaciones de seguridad, que los responsables del despido justificaron con los supuestos defectos de carácter de Altman. Pero la actual junta de OpenAI y las investigaciones de un bufete de abogados han exonerado a Altman.
"Estamos de acuerdo en que el debate riguroso es crucial dada la importancia de esta tecnología y seguiremos interactuando con gobiernos, sociedad civil y otras comunidades en todo el mundo", dijo a CNBC un portavoz de OpenAI.
La empresa ha establecido una línea directa anónima de integridad y recientemente formó un nuevo Comité de Seguridad y Protección, del cual el CEO Sam Altman es miembro.
Vía | Former and current employees of mostly OpenAI warn of risks of advanced AI (the-decoder.com)
https://bit.ly/4bLwPcK
No hay comentarios.:
Publicar un comentario