wiki.ziemers.de

ziemer's informatik Wiki

Benutzer-Werkzeuge

Webseiten-Werkzeuge

Zuletzt angesehen:
wiki:software:beuthbot:berichte:ws2020:zwischen:aktueller-stand

Unterschiede

Hier werden die Unterschiede zwischen zwei Versionen angezeigt.

Link zu dieser Vergleichsansicht

Beide Seiten der vorigen Revision Vorhergehende Überarbeitung
Nächste Überarbeitung 		Vorhergehende Überarbeitung
wiki:software:beuthbot:berichte:ws2020:zwischen:aktueller-stand [22.11.2020 14:58]
Robert Xaver Halwaß 		wiki:software:beuthbot:berichte:ws2020:zwischen:aktueller-stand [24.11.2020 14:16] (aktuell)
Robert Xaver Halwaß [DokuWiki Plugins]
Zeile 31: Zeile 31:
  
  
-==== Text 2 Speech Recherche ====+==== Text To Speech Recherche ====
   * Say.js   * Say.js
     * https://www.npmjs.com/package/say     * https://www.npmjs.com/package/say
Zeile 40: Zeile 40:
     * https://www.npmjs.com/package/text-to-speech-file     * https://www.npmjs.com/package/text-to-speech-file
  
-==== Speech 2 Text Recherche ====+==== Speech To Text Recherche ====
  
-=== Mozilla Voice STT (DeepSpeech) ===+In diesem Projekt soll es ermöglicht werden, dass Nutzer ebenfalls Sprachnachrichten an den BeuthBot schicken können um mit diesem zu interagieren. Um dieses umzusetzen ist eine sogenanntes Speech-To-Text-Programm erforderlich, welche Sprachnachrichten in Text umwandelt. Diese umgewandelten Nachrichten können dann wie normale Textnachrichten vom BeuthBot weiterverabeitet werden. Da es sich hierbei um ein äußerst kompliziertes technisches Problem handelt, bei dem Ansätze mit statischen Algorithmen nicht anwendbar sind, werden ausschließlich Ansätze des DeepLearning angewendet. Neben vielen Cloud-Lösungen von namenhaften Anbietern wie Amazon und Google gibt es ebenfalls eine Reihe von OpenSource-Lösungen, welche privat gehostet werden. Dieses bietet mehrere Vorteile. Zum einen, fallen keine Gebühren für die Nutzung an, da alle Berechnungen lokal auf dem BeuthBot-Server ausgeführt werden. Zum anderen ist Datenschutz leichter umzusetzen, da alles lokal verarbeitet wird und keine Daten an externe Services weitergegeben werden. 
 +Der Recherche ergab eine Vielzahl an Lösungen, jedoch sind nur drei für das Projekt geeignet, da nur für diese ein vortrainiertes Modell für die deutschen Sprache verfügbar ist. Diese sind:
  
-https://github.com/mozilla/DeepSpeech +=== Mozilla Voice STT (DeepSpeech) === 
-https://github.com/AASHISHAG/deepspeech-german+  * https://github.com/mozilla/DeepSpeech 
 +  * https://github.com/AASHISHAG/deepspeech-german 
 +  * Entwickler: Mozilla
   * Opensource   * Opensource
   * Offline nutzbar   * Offline nutzbar
Zeile 51: Zeile 54:
   * Deutsches Modell   * Deutsches Modell
   * WER: 15%   * WER: 15%
-  * Zukunft ungewiss+  * Zukunft ungewiss (https://www.ghacks.net/2020/08/24/the-future-of-mozillas-speech-to-text-project-deepspeech-is-uncertain/)
  
 === Kaldi === === Kaldi ===
-https://github.com/kaldi-asr/kaldi +  * https://github.com/kaldi-asr/kaldi 
-http://kaldi-asr.org/doc/about.html+  * http://kaldi-asr.org/doc/about.html 
 +  * http://zamia-speech.org/asr/ 
 +  * Entwickler: Kaldi
   * Opensource   * Opensource
   * Offline nutzbar   * Offline nutzbar
Zeile 62: Zeile 67:
  
 === Wav2Letter === === Wav2Letter ===
-https://github.com/facebookresearch/wav2letter+  * https://github.com/facebookresearch/wav2letter 
 +  * http://zamia-speech.org/asr/ 
 +  * Entwickler: Facebook Research
   * Opensource   * Opensource
   * Offline nutzbar   * Offline nutzbar
   * Deutsche Modelle   * Deutsche Modelle
-  * WER: 4%+  * WER: 3,97% 
 + 
 +Während des Projekts gilt es, diese drei Lösungen zu testen, miteinander zu vergleichen und darauf basierend die beste Lösung auszuwählen und im BeuthBot zu implementieren. 
 + 
 +Die STT-Programme ohne verfügbares deutsches Modell sind folgende:
  
 === Espresso === === Espresso ===
-https://github.com/freewym/espresso+  * https://github.com/freewym/espresso 
 +  * Entwickler: Freewym
   * Opensource   * Opensource
   * Offline nutzbar   * Offline nutzbar
   * Kein deutsches Modell   * Kein deutsches Modell
  
-=== Nvidea OpenSeq2Seq === +=== OpenSeq2Seq === 
-https://github.com/NVIDIA/OpenSeq2Seq+  * https://github.com/NVIDIA/OpenSeq2Seq 
 +  * Entwickler: NVIDIA
   * Opensource   * Opensource
   * Offline nutzbar   * Offline nutzbar
   * Kein Deutsches Modell   * Kein Deutsches Modell
  
-=== WER Vergleich 2017 ===+ 
 +=== Word Error Rate (WER) === 
 + 
 +Um die Qualität eines STT-Modells zu messen, wird der sogenannte Word Error Rate (WER) Wert verwendet. Dieser Wert gibt an, basierend auf dem Testdatensatz, wie viele Wörter prozentual falsch erkannt werden. Zum Beispiel, wenn bei einem Satz, welcher 100 Wörter enthält, 10 Wörter falsch erkannt werden, dann beträgt der WER-Wert 10%.  
 + 
 +Unten befindet sich eine Auflistung von WER-Werten von kommerziellen STT-Diensten für die englische Sprache aus dem Jahre 2017. Darunter befindet sich ebenfalls die WER-Werte der recherchierten OpenSoruce-Lösungen. Da alle Dienste unterschiedliche Datensätze zum Training und Test verwenden, sind diese Ergebnisse nicht komplett vergleichbar, aber sie bieten eine grundsätzliche Übersicht über die Performance der OpenSource-Lösungen.
   * Google (8%)   * Google (8%)
   * Microsoft (5.9%)   * Microsoft (5.9%)
Zeile 87: Zeile 105:
   * Baidu (16%)   * Baidu (16%)
   * Hound (5%)   * Hound (5%)
 +
 +  * Mozilla Voice STT (15%)
 +  * Kaldi (8,44%)
 +  * Wav2Letter (3,97%)
  
 Quelle: Quelle:
 https://askwonder.com/research/current-voice-recognition-word-error-rates-google-amazon-microsoft-ibm-apple-5b88trj0t https://askwonder.com/research/current-voice-recognition-word-error-rates-google-amazon-microsoft-ibm-apple-5b88trj0t
 +
 +
 +==== DokuWiki Plugins ====
 +
 +=== edittable ===
 +Standartmäßig werden im Ziemer's-Wiki alle Tabellen mittels MarkDown angelegt. Da dieses jedoch besonders bei großen Tabellen sehr fehleranfällig ist, wurde das edittable-Plugin installiert. Dieses erlaubt es mittels einer grafischen Benutzeroberfläche Tabellen anzulegen und zu bearbeiten. So entstandene Tabellen werden dann als normale MarkDown-Tabellen im Wiki abgelegt. Dieses erleichterte das Arbeiten mit Tabellen ungemein. https://www.dokuwiki.org/plugin:edittable
 +
 +=== PageBreak ===
 +Die finale Abgabe des Zwischenberichtes sollte in Form eines PDFs abgeben werden. Das Ziemer's-Wiki hatte bereits das DW2PDF-Plugin installiert, welches es auf einfache Weise ermöglicht jede beliebige Wiki-Seite als PDF zu exportieren. Hierbei ergab sich jedoch das Problem, dass alle Kapital ohne große Abstände hintereinander in das PDF geschrieben wurden, welches die Übersichtlichkeit stark beeinträchtigt hat. Um dieses Problem zu lösen, wurde das PageBreak-Plugin im Ziemers-Wiki installiert. Dieses erlaubt es, mittels des pagebreak-Tags, dem DW2PDF-Plugin 
 +mitzuteilen wann ein Seitenumbruch passieren. Damit konnten wir nach jedem Kapitel und Feature-Tabelle einen Seitenumbruch hinzufügen. Dies hat die Übersichtlichkeit des Zwischenberichtes deutlich erhöht. https://www.dokuwiki.org/plugin:pagebreak
 +
  
wiki/software/beuthbot/berichte/ws2020/zwischen/aktueller-stand.1606053498.txt.gz · Zuletzt geändert: 22.11.2020 14:58 von Robert Xaver Halwaß

Seiten-Werkzeuge