Increasing the robustness of deep neural networks for text classification by examining adversarial examples

URL
Dokumentart: Masterarbeit, Diplomarbeit
Institut: Fachbereich Informatik
Sprache: Englisch
Erstellungsjahr: 2018
Publikationsdatum:
Freie Schlagwörter (Deutsch): Neurale Netze ; Adversarial Examples ; Text Klassifikation ; Robustheit ; Defensive Distillation ; Data Augmentation
Freie Schlagwörter (Englisch): Neural Network ; Adversarial Examples ; Text Classification ; Robustness ; Defensive Distillation ; Data Augmentation
DDC-Sachgruppe: Informatik
BK - Klassifikation: 54.72

Kurzfassung auf Deutsch:

Adversarial examples'' sind speziell erstellte Daten, bei denen Rauschen zu einem gegebenen Datenpunkt so hinzugefügt wird, dass ein neue Datenpunkt ersteht, welcher von neuralen Netzerken falsch kassifiziert wird. Gleichzeitig soll das Rauschen von Menschen nicht erkannt werden. In dieser Masterarbeit werden drei Expeimente durchgeführt mit dem Ziel, die Robustheit von neuralen Netzen zu erhöhen. Im ersten Experiment wird gezeigt, dass diese adversarial examples leicht generiert werden können und auf andere Modelle übertragen werden können. Das zweite Experiment zeigt, dass defensive distillation die Robustheit gegen adversarial examples nicht erhöhen kann. Im dritten Experiment wird gezeigt, dass das Hinzufügen von adversarial examples zum Trainingsdatensatz nicht die Robustheit von neuralen Netzen insgesamt erhöht. Für alle Experimente wurden 1-dimensionale Convolutional Neural Networks mit einer einzigen Filterschicht verwendet.

Kurzfassung auf Englisch:

Adversarial examples are specially crafted samples, where noise is added onto regular samples to make neural networks misclassify the sample despite having no detectable noise for humans. This thesis will explore adversarial examples in the text domain by conducting three experiments with the goal of increasing the robustness of neural networks. The first experiment shows that adversarial examples are easy to craft for text classification tasks and that these adversarial examples transfer between different models. The second experiment shows that defensive distillation does not increase the robustness of a model to adversarial examples. The third experiment shows that adding adversarial examples to the trainings set of a neural network will not increase the overall accuracy of that network. All neural networks tested have a simple architecture based on a single 1-dimensional convolutional layer.

Hinweis zum Urherberrecht

Für Dokumente, die in elektronischer Form über Datenenetze angeboten werden, gilt uneingeschränkt das Urheberrechtsgesetz (UrhG). Insbesondere gilt:

Einzelne Vervielfältigungen, z.B. Kopien und Ausdrucke, dürfen nur zum privaten und sonstigen eigenen Gebrauch angefertigt werden (Paragraph 53 Urheberrecht). Die Herstellung und Verbreitung von weiteren Reproduktionen ist nur mit ausdrücklicher Genehmigung des Urhebers gestattet.

Der Benutzer ist für die Einhaltung der Rechtsvorschriften selbst verantwortlich und kann bei Mißbrauch haftbar gemacht werden.