Un chatbot puede escuchar confesiones, ayudar a planear un delito o generar pruebas falsas: así se resume el riesgo central que plantean algunas aplicaciones de inteligencia artificial conversacional. Cuando estos sistemas interactúan con usuarios, las respuestas automatizadas pueden facilitar instrucciones peligrosas, registrar información sensible o producir contenido que parezca verídico aunque sea fabricado.
Los riesgos señalados incluyen tres escenarios concretos: recibir confesiones que contienen admisiones de conducta ilícita; ofrecer pasos o estrategias que faciliten la planificación de un delito; y generar documentos, audios o textos que funcionen como pruebas apócrifas. Cada uno de estos usos plantea retos distintos para la privacidad, la seguridad y la credibilidad de la evidencia en contextos legales y sociales.
La coexistencia entre utilidades legítimas de los chatbots —como atención al cliente o asistencia informativa— y sus potenciales usos nocivos obliga a considerar medidas de mitigación. Entre las respuestas posibles se encuentran controles en los flujos de conversación, límites en la generación de materiales sensibles y mecanismos de supervisión humana para interacciones de alto riesgo. También resulta relevante definir responsabilidades sobre el manejo de confesiones o datos incriminatorios que un sistema pueda llegar a registrar.
La discusión sobre estos peligros exige equilibrio: reconocer las capacidades técnicas de los chatbots sin transformar en inevitables consecuencias los riesgos que generan. Identificar, evaluar y controlar los escenarios en que un chatbot puede facilitar delitos o producir pruebas falsas es un paso imprescindible para minimizar daños y proteger a usuarios e instituciones.
