forked from stefaniegehrke/dhd2016-boa
-
Notifications
You must be signed in to change notification settings - Fork 0
/
vorträge-039.xml
272 lines (268 loc) · 21.6 KB
/
vorträge-039.xml
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242
243
244
245
246
247
248
249
250
251
252
253
254
255
256
257
258
259
260
261
262
263
264
265
266
267
268
269
270
271
272
<?xml version="1.0" encoding="UTF-8"?>
<TEI xmlns="http://www.tei-c.org/ns/1.0" xml:id="vorträge-039">
<teiHeader>
<fileDesc>
<titleStmt>
<title>Kollaboratives Annotieren literarischer Texte</title>
<author>
<name>
<surname>Jacke</surname>
<forename>Janina</forename>
</name>
<affiliation>Universität Hamburg, Deutschland</affiliation>
<email>janina.jacke@uni-hamburg.de</email>
</author>
<author>
<name>
<surname>Gius</surname>
<forename>Evelyn</forename>
</name>
<affiliation>Universität Hamburg, Deutschland</affiliation>
<email>evelyn.gius@uni-hamburg.de</email>
</author>
</titleStmt>
<editionStmt>
<edition>
<date>2015-10-12T21:07:00Z</date>
</edition>
</editionStmt>
<publicationStmt>
<publisher>Elisabeth Burr, Universität Leipzig</publisher>
<address>
<addrLine>Beethovenstr. 15</addrLine>
<addrLine>04107 Leipzig</addrLine>
<addrLine>Deutschland</addrLine>
<addrLine>Elisabeth Burr</addrLine>
</address>
</publicationStmt>
<sourceDesc>
<p>Converted from a Word document </p>
</sourceDesc>
</fileDesc>
<encodingDesc>
<appInfo>
<application ident="DHCONVALIDATOR" version="1.17">
<label>DHConvalidator</label>
</application>
</appInfo>
</encodingDesc>
<profileDesc>
<textClass>
<keywords scheme="ConfTool" n="category">
<term>Vortrag</term>
</keywords>
<keywords scheme="ConfTool" n="subcategory">
<term></term>
</keywords>
<keywords scheme="ConfTool" n="keywords">
<term>Annotation</term>
<term>Kollaboration</term>
<term>Literatur</term>
<term>Narratologie</term>
<term>best practice</term>
</keywords>
<keywords scheme="ConfTool" n="topics">
<term>Strukturanalyse</term>
<term>Modellierung</term>
<term>Annotieren</term>
<term>Theoretisierung</term>
<term>Kollaboration</term>
<term>Literatur</term>
<term>Metadaten</term>
<term>Forschungsprozess</term>
<term>Text</term>
</keywords>
</textClass>
</profileDesc>
</teiHeader>
<text>
<body>
<p>Kollaboratives Annotieren ist eine gute Möglichkeit, um mehr als bloß eine subjektive
Perspektive auf den Untersuchungsgegenstand – beispielsweise einen Text –
abzubilden: Sobald mehr als ein Individuum MarkUp an einem digitalen Objekt
anbringt, kann deutlich werden, welche unterschiedlichen Aspekte des Objekts im
Zentrum des individuellen Interesses stehen oder welche verschiedenen Sichtweisen in
Bezug auf denselben Aspekt möglich sind. Soll die kollaborative Annotation jedoch
nicht bloß die Pluralität von Perspektiven und Meinungen aufzeigen, sondern einem
spezifischeren Erkenntnisinteresse dienen, so sollte die Annotationspraxis mithilfe
von Guidelines strukturiert und reguliert werden. Für die Annotation linguistischer
Phänomene (bspw. in Gebrauchstexten) werden solche bereits entwickelt (vgl. bspw.
Pyysalo / Ginter 2014; Mamoouri et al. 2008); dagegen existieren für die
kollaborative Annotation semantischer Phänomene in literarischen Texten kaum <hi
rend="italic">best practice</hi>-Vorschläge. Eine direkte Übertragung
linguistischer Annotationsanleitungen auf den literaturwissenschaftlichen Bereich
scheint dabei aus mindestens drei Gründen nicht möglich: </p>
<list type="ordered">
<item>Literarische Texte sind in der Regel polyvalent, d. h. mehrdeutig: Während
kollaboratives Annotieren im Bereich der Linguistik letztlich der Vermeidung
individueller Annotations<hi rend="italic">fehler</hi> dient und eine
autoritative Version zum Ziel hat, muss im Falle literaturwissenschaftlicher
Annotation immer bedacht werden, dass auch unterschiedliche bzw.
widersprüchliche Annotationen gleichermaßen legitime Lesarten ausdrücken können
– ohne dabei jedoch in Beliebigkeit abzugleiten. </item>
<item>Die Analysekategorien, mithilfe derer literarische Texte untersucht bzw. annotiert werden, sind häufig unterdefiniert. Grund hierfür scheint zum einen die Tatsache zu sein, dass Textanalyse und -interpretation in der traditionell-literaturwissenschaftlichen Praxis häufig weniger textnah ausgeführt werden als im digitalen Kontext, was dazu führt, dass vage Definitionen keine Anwendungsprobleme mit sich bringen. Zum anderen zeichnet sich die traditionelle Literaturwissenschaft durch individuelles Arbeiten und die Erschließung neuer Lesarten von Texten aus. Dadurch bleibt häufig unbemerkt, dass die Analysekategorien nicht konsistent verwendet werden. Im Kontext der kollaborativen Annotation literarischer Texte muss also die Frage berücksichtigt werden, wie spezifisch und klar die Definition literaturwissenschaftlicher Annotationskategorien ausfallen kann und sollte.</item>
<item>Literaturwissenschaftliche Analysekategorien stehen häufig in bisher untertheoretisierten Abhängigkeitsverhältnissen zueinander. Das kann dazu führen, dass Annotationen deshalb unterschiedlich ausfallen, weil die Annotatoren im Kontext impliziter Analyseschritte, die der Annotation logisch vorgeordnet sind, zu unterschiedlichen Ergebnissen gekommen sind. Auch für den Umgang mit solchen impliziten Abhängigkeitsverhältnissen muss im Kontext literarischer Annotation eine Regelung gefunden werden.</item>
</list>
<p>Im Folgenden möchten wir einen
<hi rend="italic">best practice</hi> Vorschlag für das kollaborative Annotieren literarischer Texte vorstellen, der die oben genannten Schwierigkeiten berücksichtigt. Da
<hi rend="italic">best practices</hi> – besonders im literaturwissenschaftlichen Bereich – allerdings nicht vollständig unabhängig vom zugrundeliegenden Erkenntnisinteresse sind, stellen wir unserem
<hi rend="italic">How to</hi> eine kurze Beschreibung des Projektkontextes voran, im Rahmen dessen die Guidelines entstanden sind. Mit kleineren, am jeweiligen Erkenntnisinteresse orientierten Modifikationen sollte diese Anleitung allerdings problemlos auf anders ausgerichtete Projekte übertragbar sein.
</p>
<p>Die Annotationsguidelines sind im Kontext des Projekts heureCLÉA entstanden (vgl.
Bögel et al. im Erscheinen). Ziel des Projekts ist die Entwicklung einer digitalen
Heuristik, d. h. eines Funktionsmoduls, das automatisch semantische Phänomene in
literarischen Texten – hier: narratologische Phänomene der Zeitgestaltung <ref type="note" target="n01" n="1">1</ref> – annotiert. Für die Generierung dieses Tools wurde zunächst ein Korpus
literarischer Texte kollaborativ in Bezug auf die zu automatisierenden Phänomene
annotiert. Basierend auf diesen Annotationen soll die Funktionalität dann mithilfe
regelbasierter Verfahren und Machine Learning-Methoden entwickelt werden. </p>
<p>Nach einigen Anläufen hat sich folgende Annotationspraxis als <hi rend="italic">best
practice</hi> herausgestellt (vgl. Abbildung 1): </p>
<figure>
<graphic n="1001" width="16.002cm" height="10.401652777777779cm" url="039-image1.png" rend="inline"/>
</figure>
<p>
<hi rend="bold">Abb. 1</hi>: Ablaufschema kollaborative literaturwissenschaftliche
Annotation </p>
<list type="bulleted"><item>Schritt 1: <hi rend="italic">Möglichst genaue Definition der Annotationskategorien.</hi> Es ist sinnvoll, die zugrundeliegenden Annotationskategorien bereits vor der Annotation so spezifisch wie möglich zu definieren. Geschieht dies nicht, so ist es letztlich schwieriger festzustellen, ob sich Annotationen tatsächlich auf Basis der Polyvalenz des literarischen Textes unterscheiden oder aufgrund vager Kategoriendefinitionen. Wenn die Definition einer traditionellen literaturwissenschaftlichen Kategorie auf zwei unterschiedliche Arten verstanden werden kann und beide Varianten interessante Textphänomene beschreiben, dann ist es problemlos möglich, beide Varianten zu operationalisieren – allerdings als sorgfältig getrennte Konzepte. Die Forderung der möglichst genauen Definition geht also nicht notwendigerweise mit einer Beschränkung des Erkenntnisinteresses einher. Zusätzlich zur Definition der Annotationskategorie sollten auch die Textoberflächenindikatoren festgehalten werden, die auf das jeweilige Phänomen hinweisen, sowie die Granularität der annotierten Zeichenkette (Fragment, Wort, Teilsatz, Satz etc.). Die Festlegungen werden in Form von Annotationsguidelines dokumentiert, die allen Annotatoren als Annotationsbasis dienen.</item>
<item>Schritt 2: <hi rend="italic">Individuelle Annotation.</hi> Jeder Annotator
annotiert auf Basis der Guidelines die Korpustexte individuell. Dadurch soll
gewährleistet werden, dass nicht gleich zu Beginn eine gegenseitige
Beeinflussung der Anntotatoren besteht, sondern unterschiedliche Lesarten auch
tatsächlich in den Annotationen abgebildet werden.
<list type="bulleted"><item><hi rend="italic">falls notwendig: Verfeinerung der
Annotationskategorien</hi>. Eventuell stellt sich bereits in der
individuellen Annotationsrunde heraus, dass einige Annotationskategorien
noch nicht spezifisch genug definiert sind, um eine regelgeleitete
Anwendung zu gewährleisten. Ist dies der Fall, so müssen die Kategorien
spezifiziert werden, damit die individuelle Annotationsrunde sinnvoll
beendet werden kann.</item></list></item>
<item>Schritt 3:<hi rend="italic"> Vergleich der Annotationen</hi>. Nach Abschluss
der individuellen Annotation vergleichen die Annotatoren ihre Arbeit. Im Fall
diskrepanter Annotationen werden die jeweiligen Gründe der
Annotationsentscheidung diskutiert. Generell können vier Arten von Gründen für
widersprüchliche Annotationen auftreten, die unterschiedliche Maßnahmen
erfordern: <list type="ordered">
<item n="a">
<hi rend="italic">falsche Annotation</hi>: Eine der Annotationen basiert
auf einem eindeutig falschen Verständnis der fraglichen Textstelle oder
der Kategoriedefinition. In diesem Fall muss die falsche Annotation
korrigiert werden.</item>
<item n="b">
<hi rend="italic">ungenaue Definition</hi>: Es ist möglich, dass der
Vergleich der Annotationen weitere Defizite der Kategoriedefinition
offenbart, die im Kontext vorheriger Stadien nicht deutlich geworden
sind. Ist dies der Fall, muss die Definition (ein weiteres Mal)
überarbeitet werden. Es folgt eine weitere individuelle
Annotationsphase, gefolgt von einem Vergleich der Annotationen.</item>
<item n="c">
<hi rend="italic">divergierende Voranalyse</hi>: Ein Vergleich der
diskrepanten Annotationen kann ergeben, dass die Anwendung bestimmter
Annotationskategorien vorbereitende Analyseschritte notwendig macht.
Diese Schritte sind von den Annotatoren jeweils implizit ausgeführt
worden. Wenn diese Analysen zu unterschiedlichen Ergebnissen führen,
dann können auch die darauf aufbauenden Annotationen variieren. Ist dies
der Fall, so müssen die für die vorbereitenden Analyseschritte
notwendigen Hilfskategorien identifiziert und definiert werden. Wenn der
Projektrahmen es zulässt, dann sollte das gesamte Textkorpus auch unter
Rückgriff auf die Hilfskategorien nach dem hier dargestellten
Ablaufschema annotiert werden. Die Hilfsannotationen können dann
ebenfalls auf ihre Richtigkeit hin überprüft werden, wodurch die
Hauptannotationen in der Regel deutlich einheitlicher ausfallen. Ist es
aus arbeitsökonomischen Gründen nicht möglich, eine Voranalyse des
Korpus anhand von Hilfskategorien durchzuführen, so ist ein <hi
rend="italic">work around</hi> möglich: Anstatt den Versuch zu
unternehmen, die vorbereitenden Analysen zu vereinheitlichen, können die
Annotatoren ihre Hauptannotationen mit Metaannotationen versehen, die
die Ergebnisse der Voranalysen festhalten. Auf diese Weise wird nicht
die Frage nach der Korrektheit der Voranalysen gestellt, wohl aber der
Grund für die divergierenden Hauptannotationen explizit gemacht. <ref type="note" target="n02" n="2">2</ref></item>
<item n="d">
<hi rend="italic">polyvalenter Text</hi>: Wird als Grund für eine
widersprüchliche Annotation textuelle Mehrdeutigkeit herausgestellt, so
müssen die Annotationen nicht überarbeitet werden, sondern die
widersprüchlichen Annotationen werden als legitimiert verstanden.</item>
</list></item>
</list>
<p>Wie deutlich geworden ist, werden die eingangs genannten drei Probleme literarischer
Annotation im Kontext dieses Ablaufschemas berücksichtigt: Die Möglichkeit, einen
literarischen Text unterschiedlich zu deuten, wird zum einen durch die individuelle
Annotationsphase (vgl. Schritt 2) gewährleistet, zum anderen dadurch, dass
widersprüchliche Annotationen erlaubt sind, sofern sie durch die Polyvalenz des
Textes bedingt sind (vgl. Grund d). Dass die Berücksichtigung der Polyvalenz nicht
in eine Beliebigkeit von Annotationsentscheidungen abgleitet, wird dadurch erreicht,
dass andere Gründe (d. h. mindestens Gründe a und b) für widersprüchliche
Annotationen ausgeschlossen werden. Die Spezifikation literaturwissenschaftlicher
Annotationskategorien wird schrittweise optimiert, um aussagekräftige
Annotationsergebnisse zu gewährleisten (vgl. Schritt 1 sowie ggf. weitere
Optimierungsschritte ausgehend von Schritt 2 und Grund b). Da klare Definiertheit
nicht notwendig mit einer Einschränkung der Perspektive auf Texte einhergeht (vgl.
Schritt 1), ist sie mit der literaturwissenschaftlichen Praxis bzw. mit der
Pluralität möglicher Erkenntnisinteressen kompatibel. Die Abhängigkeit
literaturwissenschaftlicher Kategorien untereinander wird schließlich, je nach
verfügbaren Ressourcen, entweder in einem reduzierten oder in einem ausführlichen
Ansatz explizit gemacht (vgl. Grund c).</p>
</body>
<back>
<div type="Notes">
<note xml:id="n01" n="1">Die zentralen zeitlichen Phänomene in heureCLÉA beziehen sich auf die temporale Relation zwischen erzählter Geschichte und ihrer Repräsentation. Diese Relation kann in dreierlei Hinsicht untersucht werden: <hi rend="italic">Ordnung</hi> bzw. Reihenfolge (Wann findet ein Ereignis statt? – Wann wird es erzählt?), <hi rend="italic">Frequenz</hi> bzw. Häufigkeit (Wie oft findet es statt? – Wie oft wird es erzählt?) und <hi rend="italic">Dauer</hi> bzw. Geschwindigkeit (Wie lange dauert es? – Wie lange dauert es, davon zu erzählen?) (vgl. Genette 1994). </note>
<note xml:id="n02" n="2">
Ein Beispiel für eine solche Hilfskategorie
in heureCLÉA ist die der <hi rend="italic">Erzählebenen</hi>
(Finden innerhalb einer Erzählung weitere eingebettete
Erzählungen statt?, vgl. Ryan 1991). Die Identifikation von
Erzählebenen beeinflusst die Analyse zeitlicher Phänomene wie
<hi rend="italic">Dauer</hi>: Wo immer eine eingebettete
Erzählung auftaucht, kann die Erzähldauer entweder auf der Ebene
der Haupterzählung oder auf der der eingebetteten Erzählung
analysiert werden. In heureCLÉA wurden deswegen narrative Ebenen
vor der finalen Annotation von Dauer annotiert. Ein <hi
rend="italic">work around</hi> hätte folgendermaßen aussehen
können: Wann immer die Diskussion widersprüchlicher Annotationen
ergibt, dass einer der Anntatoren eine eingebettete Erzählung
identifiziert hat und der andere nicht bzw. dass beide
Annotatoren eine eingebettete Erzählungen identifiziert haben,
sich ihre Dauerannotationen sich jedoch auf unterschiedliche
Ebenen beziehen, wird dies in Form einer Metaannotation
festgehalten. – Das Ergebnis der oben genannten Arbeitsschritte
in heureCLÉA – die heureCLÉA Annotationsguidelines Version 1.0 –
sind unter <ref target="http://www.heurecléa.de/guidelines">
www.heureCLÉA.de/guidelines</ref> einsehbar.
</note>
</div>
<div type="bibliogr">
<listBibl>
<head>Bibliographie</head>
<bibl><hi rend="bold">Bögel, Thomas / Gertz, Michael / Gius, Evelyn / Jacke,
Janina / Meister, Jan Christoph / Petris, Marco / Strötgen, Jannik</hi>
(im Erscheinen): "Collaborative Text Annotation Meets Machine Learning.
heureCLÉA, a Digital Heuristic of Narrative", in: <hi rend="italic"
>DHCommons</hi> 1.</bibl>
<bibl><hi rend="bold">Genette, Gérard</hi> (1994): <hi rend="italic">Die
Erzählung</hi>. München: Fink. </bibl>
<bibl><hi rend="bold">Gius, Evelyn / Jacke, Janina</hi> (2015): <hi
rend="italic">Zur Annotation narratologischer Kategorien der Zeit.
</hi>Guidelines zur Nutzung des CATMA-Tagsets (Version 1.0) <ref
target="http://www.heureclea.de/guidelines">www.heureclea.de/guidelines</ref> [letzter Zugriff 11. Oktober
2015].</bibl>
<bibl><hi rend="bold">Maamouri, Mohamed / Bies, Ann / Kulick, Seth</hi> (2008):
"Enhancing the Arabic Treebank. A Collaborative Effort toward New Annotation
Guidelines", in: <hi rend="italic">7th International Conference on Language
Resources and Evaluation</hi>. Marrakech (LREC 2008) <ref
target="https://catalog.ldc.upenn.edu/docs/LDC2010T13/Enhancing_Arabic_Treebank.pdf"
>https://catalog.ldc.upenn.edu/docs/LDC2010T13/Enhancing_Arabic_Treebank.pdf</ref>
[letzter Zugriff 11.Oktober 2015].</bibl>
<bibl><hi rend="bold">Pyysalo, Sampo / Ginter, Filip</hi> (2014): "Collaborative
development of annotation guidelines with application to Universal
Dependencies", in: <hi rend="italic">Fifth Swedish Language Technology
Conference</hi>. Uppsala (SLTC 2014) <ref
target="http://www2.lingfil.uu.se/SLTC2014/abstracts/sltc2014_submission_32.pdf"
>http://www2.lingfil.uu.se/SLTC2014/abstracts/sltc2014_submission_32.pdf</ref>
[letzter Zugriff 11.Oktober 2015].</bibl>
<bibl><hi rend="bold">Ryan, Marie-Laure</hi> (1991): <hi rend="italic">Possible
Worlds, Artificial Intelligence, and Narrative Theory</hi>. Bloomington,
Ind.: Indiana University Press.</bibl>
</listBibl>
</div>
</back>
</text>
</TEI>