¿Cómo detectar lenguaje ofensivo en Javascript?

Introducción

El lenguaje ofensivo son palabras o expresiones consideradas inapropiadas u ofensivas en ciertos contextos. Aunque no existe una definición universal de lo que constituye lenguaje ofensivo, en general se reconoce que ciertos términos no son apropiados en ambientes formales como el trabajo, escuelas o foros públicos. Si manejas un sitio web o una app que necesita filtrar lenguaje ofensivo, puede ser útil utilizar un servicio externo especializado.

Los servicios externos de detección de lenguaje ofensivo te ahorran tiempo y recursos al ofrecer modelos preentrenados y APIs que detectan y filtran rápidamente contenido inapropiado generado por usuarios. Esto es especialmente valioso para sitios y apps donde los usuarios publican comentarios, reseñas u otro contenido en texto. Usando estos servicios, puedes mantener un ambiente profesional y respetuoso en tu plataforma mientras reduces la carga de moderar manualmente.

Elegir un servicio externo

Existen varios servicios externos que te ayudan a detectar y filtrar lenguaje ofensivo en tu sitio o app. Al elegir uno, considera estos factores:

• Precisión: Que el servicio pueda detectar y filtrar el lenguaje ofensivo con alta exactitud.
• Disponibilidad del servidor: Asegúrate de que el servicio tenga alta disponibilidad para estar operativo cuando lo necesites 😉.
• Facilidad de uso: Busca un servicio fácil de integrar, con documentación clara y soporte disponible para posibles dudas.
• Costos: Considera el precio y posibles cargos adicionales por módulos personalizados o alto volumen de uso.

Uno de estos servicios que cumple con estos requisitos es Greip, una API potente y sencilla para protección contra fraudes. Además de detectar lenguaje ofensivo, Greip protege contra actividades fraudulentas como uso de proxies, filtrado de datos, fraude en pagos, etc. En este artículo veremos cómo usar Greip para detectar y filtrar lenguaje ofensivo, aunque los pasos aplican en general para cualquier servicio externo similar.

¿Por qué usar un servicio externo para detectar lenguaje ofensivo?

Hay varias razones para usar un servicio externo en lugar de construir uno propio:

• Precisión: Los servicios externos suelen ofrecer resultados más precisos gracias al acceso a grandes bases de datos y modelos avanzados de aprendizaje automático.
• Facilidad de integración: Son fáciles de implementar en tu sitio o app con documentación y soporte que ahorran tiempo y esfuerzo.
• Escalabilidad: Están diseñados para manejar grandes volúmenes de datos, ideales para plataformas con mucho tráfico.
• Costo-beneficio: Resulta más económico que desarrollar y mantener una solución interna, especialmente con recursos limitados.

En resumen, un servicio externo es una solución conveniente y eficaz para detectar y filtrar lenguaje ofensivo en tu plataforma.

Guía paso a paso: Usando Greip

1. Regístrate en Greip

Para empezar, crea una cuenta en Greip y obtén una clave API que usarás en el siguiente paso. Encontrarás la clave en el panel de control bajo la sección API.

No te preocupes, es GRATIS hasta 15,000 solicitudes por mes 😁. Y puedes actualizar tu plan cuando quieras.

2. Integra Greip en tu sitio o app

Con tu cuenta y clave API listas, integra Greip enviando una petición GET con el texto a analizar. La API devolverá un JSON que indica si el texto contiene lenguaje ofensivo, junto con detalles del análisis.

Ejemplo para enviar una petición GET a Greip con JavaScript:

a. Usando XMLHttpRequest:

function checkForProfanity(text) {
  const apiKey = 'your-api-key-here';
  const endpoint = 'https://gregeoip.com/badWords';

  const xhr = new XMLHttpRequest();
  xhr.open('GET', endpoint + '?key=' + apiKey + '&text=' + text);
  xhr.onload = function () {
    if (xhr.status === 200) {
      const result = JSON.parse(xhr.responseText);
      if (result.isSafe) {
        console.log('El texto no contiene lenguaje ofensivo.');
      } else {
        console.log('El texto contiene lenguaje ofensivo.');
      }
    } else {
      console.error('Ocurrió un error.');
    }
  };
  xhr.send();
}

Luego simplemente llama a la función checkForProfanity con el texto que quieres revisar:

checkForProfanity('el texto a revisar aquí');

b. Usando jQuery:

function checkForProfanity(text) {
  const apiKey = 'your-api-key-here';
  const endpoint = 'https://gregeoip.com/badWords';

  $.ajax({
    url: endpoint + '?key=' + apiKey + '&text=' + text,
    type: 'GET',
    success: function(result) {
      if (result.isSafe) {
        console.log('El texto no contiene lenguaje ofensivo.');
      } else {
        console.log('El texto contiene lenguaje ofensivo.');
      }
    },
    error: function() {
      console.error('Ocurrió un error.');
    }
  });
}

Y llamas a la función igual:

checkForProfanity('el texto a revisar aquí');

Para más información sobre la API de Greip y sus parámetros, consulta la documentación de Greip.

3. Prueba el servicio

Tras integrar el servicio, es clave probarlo con distintos textos para confirmar que funciona correctamente.

Puedes probar con entradas que sabes contienen lenguaje ofensivo y asegurarte que el servicio los detecte. También prueba con textos sin lenguaje ofensivo para verificar que no haya falsos positivos.

Estas pruebas garantizan que el filtro funciona según lo esperado. Considera probar distintos idiomas, pues cada lengua tiene sus propias normas de lo que es ofensivo.

También es recomendable probar bajo distintas condiciones, como velocidades de internet variadas y diferentes dispositivos, para asegurar robustez.

Finalmente, prueba con tu propia lista personal de palabras o frases consideradas ofensivas para asegurarte que el servicio detecta exactamente lo que te preocupa.

4. Monitorea y ajusta según sea necesario

Después de integrar un servicio externo, monitorea su desempeño y ajusta configuraciones según sea necesario. Esto puede incluir revisar reportes sobre detecciones, falsos positivos y negativos.

Con Greip, puedes ingresar a tu cuenta en el sitio para acceder a estos reportes y usar esa información para mejorar los ajustes y adaptarlos a las necesidades de tu plataforma.

Revisa periódicamente la lista de palabras consideradas ofensivas y actualízala conforme evolucionen los usos del lenguaje y normas culturales.

Con este monitoreo y ajustes continuos, asegurarás que el filtro mantiene su eficacia.

5. Comunica claramente tus políticas a los usuarios

Para que los usuarios comprendan tus reglas sobre el lenguaje inapropiado, es crucial comunicarlo claramente mediante acuerdos de términos de servicio, pautas comunitarias u otros medios.

Al detallar qué lenguaje es aceptable y qué no, ayudas a que los usuarios comprendan tus expectativas y se comporten en consecuencia.

También es útil ofrecer un medio para que reporten casos de lenguaje ofensivo que el filtro no detectó, como un botón de "Reportar". Esto garantiza que tu sitio o app se mantenga libre de lenguaje inapropiado y respetuoso.

Consideraciones adicionales

Además de los pasos anteriores, ten en cuenta estas cuestiones:

• Internacionalización: Si tu audiencia es global, considera diferencias lingüísticas y culturales al elegir el servicio. Algunos son más precisos para ciertos idiomas o regiones.
• Aspectos legales: Según tu ubicación y legislación aplicable, considera temas como libertad de expresión, censura o difamación.
• Rendimiento: Asegúrate de que el servicio no afecte negativamente la velocidad o funcionalidad de tu sitio o app.
• Privacidad: Si recolectas contenido generado por usuarios, garantiza que tengas el consentimiento adecuado para manejar datos que puedan contener lenguaje ofensivo.

Teniendo en cuenta estas consideraciones adicionales, tu implementación será efectiva y cumpla con normativas.

Conclusión

Usar un servicio externo para detectar lenguaje ofensivo es una forma práctica y eficaz de mantener un ambiente profesional y respetuoso en tu sitio o app. Siguiendo esta guía, podrás seleccionar un servicio confiable, integrarlo correctamente, y monitorear su desempeño para optimizar resultados. Además, al considerar factores como precisión, facilidad de uso, disponibilidad y costo, eliges la opción que mejor se adapte a tus necesidades. Así garantizas que todo lenguaje inapropiado sea detectado y filtrado correctamente.