La Comisión Europea ha descrito este enfoque como “a prueba de futuro”, lo que ha demostrado ser arrogante como era de esperar, ya que los nuevos sistemas de IA han ya tirado las definiciones claras del proyecto de ley en el caos. Centrarse en casos de uso está bien para sistemas estrechos diseñados para un uso específico, pero es un error de categoría cuando se aplica a sistemas generalizados. Los modelos como GPT-4 no hacen más que predecir la siguiente palabra en una secuencia. Puede usarlos para escribir código, aprobar el examen de la barra, redactar contratos, crear campañas políticas, trazar una estrategia de mercado y potenciar compañeros de IA o sexbots. Al tratar de regular los sistemas por caso de uso, la Ley de IA termina diciendo muy poco sobre cómo regular el modelo subyacente que impulsa todos esos casos de uso.
Abundan las consecuencias no deseadas. La AIA establece, por ejemplo, que en casos de alto riesgo, “los conjuntos de datos de capacitación, validación y prueba deben ser relevantes, representativos, libres de errores y completos”. Pero lo que muestran los grandes modelos de lenguaje es que los sistemas más poderosos son aquellos entrenados en los conjuntos de datos más grandes. Es poco probable que estos conjuntos estén libres de errores y no está claro qué significaría para ellos ser representativos. Existen sólidos argumentos a favor de la transparencia de los datos, pero no creo que Europa tenga la intención de implementar sistemas más débiles y menos eficientes en todo, desde la calificación de exámenes hasta la infraestructura.
El otro problema con el enfoque de casos de uso es que trata a la IA como una tecnología que, en sí misma, respetará los límites. Pero su falta de respeto por los límites es lo que más preocupa a las personas que trabajan en estos sistemas. Imagine que el “asistente personal” se clasifica como un caso de uso de bajo riesgo y se implementa un GPT-6 hipotético para impulsar un asistente personal absolutamente fabuloso. El sistema está ajustado para ser extremadamente eficaz en la interacción con los seres humanos y el logro de un conjunto diverso de objetivos del mundo real. Eso está bien hasta que alguien le pide que asegure una reserva de restaurante en el lugar más popular de la ciudad y el sistema decide que la única forma de hacerlo es causar una interrupción que lleve a un tercio de los invitados esa noche a cancelar sus reservas.
¿Suena a ciencia ficción? Lo siento, pero este tipo de problema es un hecho científico. Cualquiera que entrene estos sistemas los ha visto encontrar soluciones a problemas que los seres humanos nunca considerarían, y por una buena razón. Open AI, por ejemplo, cualificado un sistema para jugar el juego de carreras de botes CoastRunners y un refuerzo positivo incorporado para acumular una puntuación alta. Se asumió que esto le daría al sistema un incentivo para completar la carrera. Pero, en cambio, el sistema descubrió “una laguna aislada donde puede girar en un gran círculo y derribar repetidamente tres objetivos, cronometrando su movimiento para derribar siempre los objetivos a medida que se repoblan”. Elegir esta estrategia significó “incendiarse repetidamente, chocar contra otros barcos e ir en sentido contrario por la pista”, pero también significó las puntuaciones más altas, así que eso fue lo que hizo el modelo.
Este es un ejemplo de ‘riesgo de alineamiento’, el peligro de que lo que queremos que hagan los sistemas y lo que realmente harán puedan divergir, y quizás hacerlo violentamente. Limitar el riesgo de alineación requiere limitar los sistemas en sí mismos, no solo cómo permitimos que las personas los usen.
