Projekte
Inferenz auf dem Gerät, ohne dass Daten das Gerät verlassen
Ein funktionierender Prototyp: Spracherkennung und Sprachmodelle, die vollständig auf dem Gerät laufen, ohne Netzwerkaufruf bei der Inferenz, für Umgebungen mit unzuverlässiger Verbindung oder Daten, die die Hardware nicht verlassen dürfen.
- Was es belegt
- Datenschutz durch Architektur: Das Modell läuft dort, wo die Daten sind, also wird nichts irgendwohin gesendet.
- Phasen der Methode
- Gebaut aus
- Spracherkennung auf dem Gerät
- Inferenz von Sprachmodellen auf dem Gerät
- Kein Netzwerk-Roundtrip bei der Inferenz
- Keine Daten verlassen die Gerätehardware
Die Ausgangslage
Die meisten Datenschutzzusagen bei KI sind Richtlinien: Der Anbieter trainiert nicht mit Ihren Daten, löscht sie nach einer bestimmten Frist und hat dazu einen Vertrag. Nichts davon können Sie überprüfen. Die Konnektivität ist ein zweites Problem: Ein Fabrikkeller, ein abgelegener Industriestandort oder ein klinischer Bereich mit eingeschränktem Netzzugang hat womöglich gar keine verlässliche Verbindung.
Was wir gebaut haben
Spracherkennung und Inferenz des Sprachmodells laufen beide auf dem Gerät, ohne Server-Roundtrip an irgendeiner Stelle. Es gibt keinen Cloud-Schritt, den man absichern, dem man vertrauen oder den man einem Auditor erklären müsste. Das System funktioniert auch ohne Verbindung.
Modellgrösse, Quantisierung und Latenz werden auf die vorhandene Hardware hin entwickelt. Wir planen vom ersten Tag an für das Gerät, denn ein nachträglich verkleinertes Cloud-System arbeitet meist wie ein abgespecktes Cloud-System.
Was es für Kunden belegt
Datenschutz kann eine Eigenschaft des Ortes sein, an dem gerechnet wird. Das lässt sich prüfen: Es genügt festzustellen, dass kein Netzwerkaufruf stattgefunden hat. Derselbe Ansatz läuft in unserer eigenen Sprach-App Zeza.
Phasen der Methode
Das Projekt gehört in Phase 02 · Nutzen belegen, in der ein Prototyp testet, ob sich die Vorgabe auf Ihrer Hardware umsetzen lässt. Phase 03 · System entwickeln würde ihn für eine bestimmte Geräteflotte härten. Siehe die KARPINITY-Methode.