2,079 resoluciones con citas inventadas por IA: cinco preguntas antes de usarla en el despacho

En junio de 2023, un juez federal de Nueva York multó con 5,000 dólares a dos abogados y a su despacho por haber citado seis precedentes que no existían. Los había producido ChatGPT. El caso, Mata v. Avianca, se volvió la advertencia de rigor en cualquier conversación sobre IA en el despacho.

Que México no aparezca puede significar que aquí nadie lo ha documentado todavía. Y aquí hay un riesgo más probable que la cita inventada, porque no se nota: la ley vieja.

La ley que el modelo no leyó

Un modelo general de lenguaje aprende de textos reunidos hasta una fecha de corte. Lo que se publicó después no existe para él, salvo que la herramienta lo consulte en una fuente actualizada.

Lo delicado no es que el modelo no lo sepa. Es que responde con la misma seguridad. Una respuesta desactualizada se ve igual que una correcta: bien redactada, con artículos numerados y sin una sola duda. En un país donde el Diario Oficial publica reformas todo el año, y donde el derecho civil y el familiar son distintos en cada una de las 32 entidades, la versión de la norma importa tanto como la norma.

Tres herramientas, tres cifras

El análisis que publicó Nexos sobre esa resolución destaca un detalle incómodo: las tres herramientas dieron tres cifras distintas (60,081; 64,655.34 y 59,864.98), y la resolución las promedió y redondeó a 60,000. La tesis es sensata. El cálculo muestra el problema que la tesis intenta prevenir: cuando tres sistemas no coinciden, la respuesta no es el promedio, es la fórmula, con su fuente, revisada por una persona.

Cinco preguntas antes de contratar

1. ¿Cita el artículo y la versión? No basta «según la Ley Federal del Trabajo». Hace falta el artículo y la fecha de la última reforma del texto que se consultó. Si la herramienta no puede decir qué versión usó, tampoco puede decir si está vigente.
2. ¿Cubre derecho local? El derecho civil y el familiar son de cada entidad, y el Código Nacional de Procedimientos Civiles y Familiares entra en vigor por declaratoria, estado por estado. Una herramienta que solo conoce el derecho federal contesta la mitad de las preguntas de un litigante.
3. ¿La jurisprudencia trae registro digital? Una tesis con registro digital se verifica en el Semanario Judicial en medio minuto. Sin ese número, alguien del despacho tendrá que buscarla a mano, y ese era justo el trabajo que se quería ahorrar.
4. ¿Qué pasa con los datos del cliente? Dónde se procesan, si se usan para entrenar modelos, quién puede verlos y cuánto tiempo se conservan. El secreto profesional no se suspende porque el expediente pase por un proveedor.
5. ¿Qué hace cuando no encuentra fuente? A veces, la mejor respuesta de una herramienta jurídica es «no encontré sustento». Pida al proveedor que le enseñe una. Si nunca la ha visto, desconfíe.

Cómo responde LexBuddy a esas preguntas

Son las preguntas que los despachos nos hacen a nosotros. Estas son nuestras respuestas, con sus límites.

• Artículo y versión. LexBuddy consulta la legislación federal y la de las 32 entidades, con la fecha de consolidación de cada texto.
• Jurisprudencia. Consulta cerca de 349,000 documentos del Semanario Judicial de la Federación: tesis, ejecutorias, votos y acuerdos.
• Datos. LexBuddy declara que los datos de sus clientes no se usan para entrenar modelos, y los procesa en infraestructura de Amazon Web Services en Estados Unidos.
• Derecho mexicano. Está hecha para el derecho mexicano, que es de tradición civil. No es una herramienta de common law traducida.

Nada de esto vuelve infalible a una herramienta, empezando por la nuestra. Lo que cambia es que el error se puede revisar: cuando cada afirmación trae su artículo, su versión y su registro, un asociado verifica en minutos lo que antes le costaba una tarde. Y la responsabilidad de lo que se firma sigue siendo del abogado que firma.

La pregunta útil

Si su despacho ya usa IA, la pregunta útil no es si la herramienta se equivoca. Todas se equivocan. La pregunta es si su equipo puede demostrar de dónde salió cada afirmación antes de firmarla.