Konnektoren-Übersicht

Was sind Konnektoren?

Konnektoren sind die Bausteine von Meddle-Workflows. Jeder Konnektor ist eine spezialisierte Komponente, die Daten aus Quellen lesen, Daten in Ziele schreiben oder Daten während der Übertragung verarbeiten und transformieren kann.

Konnektoren werden in einem visuellen Workflow-Editor miteinander verbunden, um leistungsstarke Datenintegrations-Pipelines ohne Code zu erstellen.

Konnektor-Kategorien

Meddle bietet 18 verschiedene Konnektor-Typen, die in drei Hauptkategorien organisiert sind:

🏭 Industrielle Konnektoren (3 Typen)

Verbinden Sie sich mit industriellen Automatisierungssystemen und SPSen:

OPC UA

Industrielles Standardprotokoll für industrielle Automatisierung. Unterstützt mehrere Authentifizierungsmethoden und Sicherheitsmodi.

Modbus

Serielle und TCP-Kommunikation mit SPSen und industriellen Geräten. Unterstützt alle Registertypen und Datenformate.

Siemens S7

Direkte Kommunikation mit Siemens S7-300, S7-400, S7-1200 und S7-1500 SPSen.

🌐 IoT- und Datenbank-Konnektoren (5 Typen)

Integration mit IoT-Protokollen und Datenbanken:

MQTT

Publish/Subscribe-Messaging für IoT-Geräte mit QoS-Unterstützung.

HTTP/REST

Verbinden Sie sich mit REST-APIs und Webdiensten mit anpassbaren Headern und Methoden.

InfluxDB

Zeitreihendatenbank optimiert für industrielle und IoT-Daten.

MongoDB

NoSQL-Dokumentendatenbank für flexible Datenspeicherung.

SQL

Unterstützung für MySQL-, PostgreSQL- und SQL Server-Datenbanken.

⚙️ Verarbeitungskonnektoren (10 Typen)

Transformieren, filtern und verarbeiten Sie Daten:

Filter

Whitelist oder Blacklist spezifischer Datenschlüssel.

Conveyor

Daten unverändert für Many-to-Many-Routing weitergeben.

Merge

Daten aus mehreren Quellen mit Timing- oder Schlüssel-basierten Strategien kombinieren.

Reshape

Felder umbenennen oder Daten mit statischen Werten anreichern.

Trigger

Bedingte Logik mit MXL-Ausdrücken.

Cron

Datenfreigabe zu bestimmten Zeiten planen.

Auth

JWT-Authentifizierung und -Validierung.

Anomaly Detection

ML-basierte Anomalieerkennung mit Isolation Forest.

Alert

Bedingungsbasierte Benachrichtigungen senden.

Chart

Echtzeit-Datenvisualisierung.

Wie Konnektoren funktionieren

Datenformat

Alle Konnektoren tauschen Daten im standardmäßigen Schlüssel-Wert-Payload-Format aus:

{
  "temperature": 25.5,
  "pressure": 101.3,
  "humidity": 60,
  "status": "active",
  "timestamp": 1234567890
}

Dieses standardisierte Format ermöglicht es jedem Konnektor, mit jedem anderen Konnektor zu kommunizieren, unabhängig vom zugrunde liegenden Protokoll oder System.

Konnektor-Konfiguration

Jeder Konnektor wird mit JSON mit drei Hauptabschnitten konfiguriert:

1. Type: Der Konnektor-Typ (z.B. OpcuaReader, MqttV3Writer)
2. Config: Konnektor-spezifische Konfiguration (Endpunkt, Anmeldeinformationen usw.)
3. Variables: (Optional) Für industrielle Konnektoren definiert, welche Daten gelesen/geschrieben werden

Beispiel:

{
  "type": "OpcuaReader",
  "config": {
    "endpoint": "opc.tcp://localhost:4840",
    "pollingRate": 1000
  },
  "variables": [
    {
      "key": "temperature",
      "nodeId": "ns=1;s=Temperature"
    }
  ]
}

Workflow-Ausführung

Konnektoren sind in Arbeitsblättern (Workflows) organisiert, wo:

1. Reader-Konnektoren Daten aus Quellen sammeln
2. Verarbeitungskonnektoren Daten transformieren und filtern
3. Writer-Konnektoren Daten an Ziele senden

Daten fließen durch Verbindungen zwischen Konnektoren, wobei jeder Konnektor Daten parallel verarbeitet, um maximale Leistung zu erzielen.

Häufige Konfigurationsmuster

Polling-Rate

Viele Reader-Konnektoren unterstützen einen pollingRate-Parameter (in Millisekunden):

{
  "pollingRate": 1000  // Alle 1 Sekunde abfragen
}

Authentifizierung

Konnektoren, die Authentifizierung erfordern, unterstützen typischerweise mehrere Methoden:

{
  "username": "user",
  "password": "pass"
}

Oder für Token-basierte Authentifizierung:

{
  "authToken": "your-token-here"
}

Fehlerbehandlung

Alle Konnektoren beinhalten integrierte Fehlerbehandlung und:

• Protokollieren Fehler mit spezifischen Fehlercodes
• Setzen den Betrieb fort, wenn möglich
• Bieten detaillierte Fehlermeldungen zur Fehlerbehebung

Leistungsüberlegungen

Polling-Raten

• Verwenden Sie angemessene pollingRate-Werte, um Systeme nicht zu überlasten
• Schnelleres Polling = mehr Daten, aber höhere CPU-/Netzwerknutzung
• Typische Werte: 100ms (schnell), 1000ms (normal), 5000ms (langsam)

Datenakkumulation

Einige Konnektoren akkumulieren Daten im Speicher:

• Merge: Kombiniert Daten aus mehreren Quellen
• Cron: Hält Daten bis zur geplanten Freigabe
• Verwenden Sie den maxRetained-Parameter, um die Speichernutzung zu begrenzen

Parallele Ausführung

• Arbeitsblätter führen Konnektoren parallel aus
• Mehrere Arbeitsblätter laufen gleichzeitig
• Horizontale Skalierung über CPU-Kerne

Best Practices

1. Einfach beginnen

Beginnen Sie mit grundlegenden Reader → Writer-Workflows, bevor Sie Verarbeitungskonnektoren hinzufügen.

2. Filter früh verwenden

Platzieren Sie Filter-Konnektoren am Anfang des Workflows, um die Payload-Größe zu reduzieren und die Leistung zu verbessern.

3. Daten normalisieren

Verwenden Sie Reshape-Konnektoren, um Feldnamen über verschiedene Quellen hinweg zu standardisieren.

4. Fehlerbehandlung implementieren

Verwenden Sie Trigger-Konnektoren, um Fehlerbedingungen zu erkennen und zu Alert-Konnektoren zu routen.

5. Batch-Operationen planen

Verwenden Sie Cron-Konnektoren für Batch-Verarbeitung und geplante Datenfreigaben.

6. Ihre Daten sichern

Verwenden Sie Auth-Konnektoren, um JWT-Token in Datenflüssen zu validieren, die Authentifizierung erfordern.

7. Anomalien überwachen

Fügen Sie Anomaly Detection-Konnektoren hinzu, um ungewöhnliche Muster in Ihren Daten zu identifizieren.

Nächste Schritte

Erkunden Sie die Konnektor-Dokumentation nach Kategorie:

• Industrielle Konnektoren - OPC UA, Modbus, Siemens S7
• IoT- und Datenbank-Konnektoren - MQTT, HTTP, Datenbanken
• Verarbeitungskonnektoren - Datentransformation und Logik
• MXL-Ausdruckssprache - Bedingte Ausdrücke für Trigger und Alerts