Generador de Glosarios Contextuales Glosario terminológico automático de un PDF: TBX y XLIFF

FastAPI Python Redis Groq Qwen3.8 27B PyMuPDF python-docx SQLite asyncio TBX (ISO 30042) XLIFF
Generador de Glosarios Contextuales

Generador de Glosarios Contextuales: terminología consistente para traducción profesional

Cuando un traductor recibe un manual técnico o un contrato de 80 páginas, el primer trabajo invisible es construir el glosario: identificar los tecnicismos, siglas y expresiones que deben traducirse igual en todo el documento. Hacerlo a mano lleva horas. Esta herramienta lo automatiza con IA, conservando el contexto en el que aparece cada término.

Arquitectura asíncrona desacoplada

Los documentos pesados no se procesan en la petición HTTP. Al subir el archivo, FastAPI lo almacena, crea una tarea PENDING en SQLite e inyecta su ID en una cola Redis. Un consumidor —que corre como tarea asíncrona dentro del propio servicio— recoge la tarea, la procesa por fases y actualiza el progreso, mientras el frontend hace polling en tiempo real. Así se aceptan archivos grandes sin bloquear el servidor ni saturar los rate limits del LLM.

Pipeline de IA: Map → Reduce → Reflect

No es un único prompt, sino un pipeline en tres fases:

  • Map: el texto se divide en fragmentos de ~1.800 palabras y cada uno se envía a Groq (Qwen3.8 27B) con un prompt especializado en localización (L10n) que devuelve JSON estricto.
  • Reduce: se deduplican los términos que aparecen en páginas distintas.
  • Reflect: un segundo paso agéntico revisa el glosario consolidado, elimina falsos positivos, fusiona variantes del mismo concepto y unifica las traducciones inconsistentes.

Export en formatos de industria

El glosario se descarga en CSV (universal, para Excel/Sheets) y en TBX (TermBase eXchange, ISO 30042), el estándar de intercambio de bases terminológicas que importan directamente SDL Trados, memoQ y otras herramientas CAT.

Nota: la extracción la realiza un LLM; el resultado es un punto de partida de alta calidad que el profesional debe revisar antes de usar en producción.

Integración, datos y licencia

  • Integración: API REST propia (FastAPI) con 6 endpoints documentados en el repositorio; se puede consumir desde cualquier lenguaje o plataforma, con especificación OpenAPI autogenerada.
  • Tratamiento de datos: la demo pública envía a Groq (LLaMA) únicamente el contenido necesario para generar la respuesta. No se almacenan las conversaciones en base de datos ni se asocian a ninguna identidad. En un despliegue propio decides tú el proveedor — incluido un modelo local, con el que ningún dato sale de tu infraestructura.
  • Nota: Los documentos subidos se procesan para generar el glosario y se eliminan al finalizar el trabajo.
  • Licencia: MIT — uso libre, incluido comercial, manteniendo el aviso de copyright. El repositorio contiene la aplicación completa y puede desplegarse en infraestructura propia. El código es gratuito; los costes de motor de IA, infraestructura, implantación y mantenimiento corren por cuenta de quien lo despliega (no se ofrece soporte ni consultoría).

¿Cómo lo integro?

Disponible ahora: Procesamiento asíncrono de documentos con descarga del glosario en CSV y en TBX-Basic (ISO 30042); pensado para lotes grandes.

Integraciones habituales en este sector (valoradas como vía recomendada; salvo que se indique lo contrario, no vienen implementadas — el código está preparado para añadirlas):

  • TBX (ISO 30042) — YA IMPLEMENTADO: el glosario se descarga directamente en TBX-Basic válido, el estándar internacional de intercambio de terminología. Se carga tal cual en cualquier herramienta profesional de traducción, sin conversión.
  • CAT tools (Trados, memoQ, Smartcat, Phrase): una vez hay TBX, la terminología entra en el flujo de trabajo del traductor sin copiar y pegar.
  • XLIFF 2.0 (OASIS) — YA IMPLEMENTADO: GET /download/{job}/xliff devuelve el glosario como fichero de intercambio de traducción, con cada término y su traducción propuesta ya rellena en <target>. Se abre en Trados, memoQ, OmegaT, Phrase o Smartcat y el traductor revisa en vez de teclear. Los segmentos van marcados state="translated", no "final": lo ha propuesto un modelo y necesita revisión humana.
  • Sistemas de gestión de traducción (TMS): generación automática del glosario al dar de alta un proyecto nuevo.
Mapa del bucleDisparador: Me llega un manual técnico y tengo que fijar la terminología antes de traducir nada.. Acción: Extrae el texto del PDF o DOCX, lo procesa en cola y propone los términos críticos con su contexto.. Medición: Un glosario descargable en CSV y en TBX, el formato que ya lee la herramienta de traducción.. Decisión: Decido qué términos entran en el glosario del proyecto y cuáles sobran..EL BUCLE QUE CIERRAPara un traductor con un manualtécnico entre manos1DISPARADORMe llega un manual técnico ytengo que fijar laterminología antes detraducir nada.2ACCIÓNExtrae el texto del PDF oDOCX, lo procesa en cola ypropone los términoscríticos con su contexto.3MEDICIÓNUn glosario descargable enCSV y en TBX, el formato queya lee la herramienta detraducción.4DECISIÓNDecido qué términos entranen el glosario del proyectoy cuáles sobran.En cada encargolo hace una personalo hace el software

Descargar el diagrama (SVG)

Resultados

PDF + DOCX
Formatos de entrada
(con texto seleccionable)
CSV + TBX
Export profesional
ISO 30042 · Trados / memoQ
Asíncrono
Cola Redis + polling
respeta rate limits
3 fases
Map · Reduce · Reflect
con agente de reflexión

Comparativa de mercado

Solución Coste mensual Modelo de cobro Datos propios Personalización
Generador de Glosarios Contextuales Self-hosted
Glosario manual Horas por documento
Extractor terminológico CAT Sin contexto ni traducción

Precios de referencia públicos. Pueden variar según plan y negociación.

Funcionalidades implementadas

  • ⚙️ Procesamiento asíncrono. Sube documentos pesados sin bloquear el navegador: cola Redis, worker in-process y polling de progreso en tiempo real.
  • 🧠 Agente de reflexión. Un segundo paso LLM poda falsos positivos y fusiona variantes del mismo término aparecidas en páginas distintas.
  • 🌐 5 idiomas destino. Inglés → español, francés, alemán, italiano o portugués, con la traducción más aceptada en la industria.
  • 📤 Export estándar L10n. CSV universal y TBX (ISO 30042) importable directamente en SDL Trados, memoQ y herramientas CAT.

Límites

Lo que no hace

  • No traduce el documento: solo prepara la terminología para traducirlo.
  • El origen es inglés; el destino se elige entre español, francés, alemán, italiano y portugués.
  • No es instantáneo: el documento entra en una cola y el glosario llega después.

Decisiones

Por qué está construido así

  • Cola en Redis con consumidor asyncio en vez de procesar el documento en la propia petición

    Un manual de cientos de páginas se lleva por delante la petición HTTP. En cola puedes cerrar la pestaña y volver luego.

  • Exportar en TBX (ISO 30042) en vez de exportar solo un CSV

    El TBX entra directo en las herramientas de traducción asistida. Un CSV hay que mapearlo campo a campo cada vez.

Try Live Demo View Code

Cómo está construido

Glosarios para traductores con IA: cola asíncrona, map-reduce y un agente que se autocritica Glosarios para traductores con IA: cola asíncrona Redis, extracción map-reduce con Qwen3.8 27B, un agente que poda falsos positivos y export a CSV y TBX.