Los principales investigadores de IA y líderes de la industria han emitido una declaración abierta exigiendo que los riesgos extremos de la IA sean tomados tan en serio como una guerra nuclear.

«La mitigación del riesgo de extinción por la IA debe ser una prioridad global junto con otros riesgos de escala social, como las pandemias y la guerra nuclear», insta una declaración divulgada hoy por el Center for AI Safety.

La declaración ha sido firmada por los CEOs de las principales empresas de IA, incluyendo OpenAI, Google DeepMind y Anthropic, así como por científicos destacados en IA en Estados Unidos y China.

«Una coalición histórica»

«Esto representa una coalición histórica de expertos en IA, junto con filósofos, éticos, académicos de derecho, economistas, físicos, científicos políticos, científicos de pandemias, científicos nucleares y científicos del clima, estableciendo el riesgo de extinción proveniente de los sistemas avanzados de IA futura como uno de los problemas más importantes del mundo», afirmó un comunicado del centro.

Los impactos negativos de la IA ya se están sintiendo y necesitan ser abordados. Sin embargo, también es necesario anticipar los riesgos futuros de los sistemas avanzados de IA, afirmaron.

«Hablar sobre cómo la IA puede llevar al fin de la humanidad puede parecer ciencia ficción», dijo Charlotte Siegmann, cofundadora de KIRA, un grupo de expertos que estudia los riesgos de la IA. «Pero hay muchas razones para preocuparse: abuso, competencia, ignorancia, descuido y la falta de control sobre los sistemas actuales y futuros. La carta abierta destaca esto».

Yann LeCun y Meta están ausentes de la lista

Algunos de los firmantes destacados de la declaración incluyen:

  • Los CEO de los principales laboratorios de IA: Sam Altman, Demis Hassabis y Dario Amodei
  • Los autores del libro de texto estándar sobre Inteligencia Artificial (Stuart Russell y Peter Norvig)
  • Dos autores del libro de texto estándar sobre Aprendizaje Profundo (Ian Goodfellow y Yoshua Bengio)
  • Un autor del libro de texto estándar sobre Aprendizaje por Refuerzo (Andrew Barto)
  • Tres ganadores del Premio Turing (Geoffrey Hinton, Yoshua Bengio y Martin Hellman)
  • Ejecutivos de Microsoft, OpenAI, Google, Google DeepMind y Anthropic: Meta no firmó
  • Los científicos detrás de sistemas de IA famosos como AlphaGo y todas las versiones de GPT (David Silver, Ilya Sutskever)
  • Los dos científicos de la computación más citados (Hinton y Bengio) y la académica más citada en seguridad y privacidad informática (Dawn Song)
  • Profesores de IA de universidades chinas
  • Profesores que estudian pandemias, cambio climático y tecnología nuclear
  • Otros firmantes incluyen a Marian Rogers Croak (inventora de VoIP – Voz sobre Protocolo de Internet), Kersti Kaljulaid (ex Presidente de la República de Estonia) y otros.

Un ganador del Premio Turing está ausente: el jefe de IA de Meta, Yann LeCun, no firmó la carta, y Meta en sí no aparece en la lista. La empresa actualmente tiene una política de código abierto y está detrás de los potentes modelos LLaMA, por ejemplo. También ausente actualmente está Gary Marcus, quien recientemente testificó ante el Senado de Estados Unidos a favor de una mayor regulación de la investigación y las empresas de IA.

Uno de los signatarios es Connor Leahy, CEO de Conjecture, una empresa dedicada a la investigación de alineación aplicada y escalable. En un episodio reciente del programa Machine Learning Street Talk, él explica en detalle por qué la IA representa un riesgo existencial y cómo podemos gestionarlo