Descripción General de Conectores

¿Qué son los Conectores?

Los Conectores son los bloques de construcción de los flujos de trabajo de Meddle. Cada conector es un componente especializado que puede leer datos de fuentes, escribir datos en destinos o procesar y transformar datos en tránsito.

Los conectores se conectan entre sí en un editor de flujo de trabajo visual para crear potentes pipelines de integración de datos sin escribir código.

Categorías de Conectores

Meddle proporciona 18 tipos diferentes de conectores organizados en tres categorías principales:

🏭 Conectores Industriales (3 tipos)

Conéctate a sistemas de automatización industrial y PLCs:

OPC UA

Protocolo estándar de la industria para automatización industrial. Admite múltiples métodos de autenticación y modos de seguridad.

Modbus

Comunicación serial y TCP con PLCs y dispositivos industriales. Admite todos los tipos de registros y formatos de datos.

Siemens S7

Comunicación directa con PLCs Siemens S7-300, S7-400, S7-1200 y S7-1500.

🌐 Conectores IoT y Base de Datos (5 tipos)

Integra con protocolos IoT y bases de datos:

MQTT

Mensajería de publicación/suscripción para dispositivos IoT con soporte de QoS.

HTTP/REST

Conéctate a APIs REST y servicios web con encabezados y métodos personalizables.

InfluxDB

Base de datos de series temporales optimizada para datos industriales e IoT.

MongoDB

Base de datos NoSQL de documentos para almacenamiento flexible de datos.

SQL

Soporte para bases de datos MySQL, PostgreSQL y SQL Server.

⚙️ Conectores de Procesamiento (10 tipos)

Transforma, filtra y procesa datos:

Filter

Lista blanca o lista negra de claves de datos específicas.

Conveyor

Pasa datos sin cambios para enrutamiento de muchos a muchos.

Merge

Combina datos de múltiples fuentes con estrategias basadas en tiempo o claves.

Reshape

Renombra campos o enriquece datos con valores estáticos.

Trigger

Lógica condicional usando expresiones MXL.

Cron

Programa la liberación de datos en momentos específicos.

Auth

Autenticación y validación JWT.

Anomaly Detection

Detección de anomalías basada en ML usando Isolation Forest.

Alert

Envía notificaciones basadas en condiciones.

Chart

Visualización de datos en tiempo real.

Cómo Funcionan los Conectores

Formato de Datos

Todos los conectores intercambian datos usando un formato estándar de carga clave-valor:

{
  "temperature": 25.5,
  "pressure": 101.3,
  "humidity": 60,
  "status": "active",
  "timestamp": 1234567890
}

Este formato estandarizado permite que cualquier conector se comunique con cualquier otro conector, independientemente del protocolo o sistema subyacente.

Configuración de Conectores

Cada conector se configura usando JSON con tres secciones principales:

1. Type: El tipo de conector (ej., OpcuaReader, MqttV3Writer)
2. Config: Configuración específica del conector (endpoints, credenciales, etc.)
3. Variables: (Opcional) Para conectores industriales, define qué datos leer/escribir

Ejemplo:

{
  "type": "OpcuaReader",
  "config": {
    "endpoint": "opc.tcp://localhost:4840",
    "pollingRate": 1000
  },
  "variables": [
    {
      "key": "temperature",
      "nodeId": "ns=1;s=Temperature"
    }
  ]
}

Ejecución de Flujos de Trabajo

Los conectores se organizan en hojas de trabajo (workflows) donde:

1. Los conectores lectores recopilan datos de fuentes
2. Los conectores de procesamiento transforman y filtran datos
3. Los conectores escritores envían datos a destinos

Los datos fluyen a través de conexiones entre conectores, con cada conector procesando datos en paralelo para máximo rendimiento.

Patrones de Configuración Comunes

Tasa de Sondeo

Muchos conectores lectores admiten un parámetro pollingRate (en milisegundos):

{
  "pollingRate": 1000  // Sondear cada 1 segundo
}

Autenticación

Los conectores que requieren autenticación típicamente admiten múltiples métodos:

{
  "username": "user",
  "password": "pass"
}

O para autenticación basada en tokens:

{
  "authToken": "tu-token-aquí"
}

Manejo de Errores

Todos los conectores incluyen manejo de errores integrado y:

• Registran errores con códigos de error específicos
• Continúan la operación cuando es posible
• Proporcionan mensajes de error detallados para solución de problemas

Consideraciones de Rendimiento

Tasas de Sondeo

• Usa valores de pollingRate apropiados para evitar sobrecargar sistemas
• Sondeo más rápido = más datos pero mayor uso de CPU/red
• Valores típicos: 100ms (rápido), 1000ms (normal), 5000ms (lento)

Acumulación de Datos

Algunos conectores acumulan datos en memoria:

• Merge: Combina datos de múltiples fuentes
• Cron: Retiene datos hasta la liberación programada
• Usa el parámetro maxRetained para limitar el uso de memoria

Ejecución Paralela

• Las hojas de trabajo ejecutan conectores en paralelo
• Múltiples hojas de trabajo se ejecutan simultáneamente
• Escalado horizontal en núcleos de CPU

Mejores Prácticas

1. Comienza Simple

Comienza con flujos de trabajo básicos de lector → escritor antes de agregar conectores de procesamiento.

2. Usa Filtros Temprano

Coloca conectores Filter temprano en el flujo de trabajo para reducir el tamaño de la carga y mejorar el rendimiento.

3. Normaliza Datos

Usa conectores Reshape para estandarizar nombres de campos en diferentes fuentes.

4. Implementa Manejo de Errores

Usa conectores Trigger para detectar condiciones de error y enrutar a conectores Alert.

5. Programa Operaciones por Lotes

Usa conectores Cron para procesamiento por lotes y liberaciones de datos programadas.

6. Asegura Tus Datos

Usa conectores Auth para validar tokens JWT en flujos de datos que requieren autenticación.

7. Monitorea Anomalías

Agrega conectores Anomaly Detection para identificar patrones inusuales en tus datos.

Próximos Pasos

Explora la documentación de conectores por categoría:

• Conectores Industriales - OPC UA, Modbus, Siemens S7
• Conectores IoT y Base de Datos - MQTT, HTTP, bases de datos
• Conectores de Procesamiento - Transformación de datos y lógica
• Lenguaje de Expresiones MXL - Expresiones condicionales para Trigger y Alert