Lade Inhalt...

Evaluierungsverfahren für automatisches Summarizing - Methoden, Ergebnisse, mögliche Übertragung auf K3

Seminararbeit 2006 25 Seiten

Informationswissenschaften, Informationsmanagement

Leseprobe

Inhaltsverzeichnis

Zusammenfassung

1 Einleitung

2 Abstracts und Extracts

3 Multidocument Summarizing

4 Evaluation

5 Evaluationsverfahren
5.1 Intrinsische Evaluationsverfahren
5.1.1 Qualitätsevaluation
5.1.2 Vergleich zu einer Referenz- (Ideal) Zusammenfassung
5.1.3 Fidelity to source comparision
5.1.4 Component level tests
5.2 Extrinsische Evaluationsmethoden
5.2.1 Relevanzbeurteilung
5.2.2 Reading comprehension
5.2.3 Presentation Strategies Evaluation
5.2.4 Mature system evaluation
5.3 Evaluation von Multidocument Summarizing
5.4 Evaluation von automatischen Zusammenfassungen von Konferenzen
5.4.1 Maximal Marginal Relevance (MMR)
5.4.2 Latent Semantic Analysis
5.4.3 Feature-based Klassifizierung

6. Evaluationsmetriken
6.1 Co-selection Metriken
6.1.1 Precision and Recall
6.1.2 Kappa
6.1.3 Relative Utility
6.2 Content-basierende Ähnlichkeitsmaße
6.3 Relevanz-Korrelation

7 Summarizing in K3
7.1 Summarizing -Leistungen der Studierenden
7.2 Summarizing Möglichkeiten aus K3
7.3 Evaluationsmöglichkeiten für K3

8 Schlussbetrachtung

Quellenverzeichnis

Zusammenfassung

Die Informationsüberflutung im 21. Jahrhundert macht ein automatisches Summarizing unentbehrlich. Da in elektronischen Foren die Diskurse häufig sehr komplex und umfänglich sind, ist auch für dieses Einsatzgebiet Summarizing wichtig, um einen schnellen Überblick zu erhalten. Hierfür kommt vor allem das M ultidocument Summarizing in Betracht. Um die Effizienz einer Summarizing Methode zu erkennen, ist es wichtig diese zu evaluieren.

Aktuelle Evaluationsmethoden für das Summarizing sollen hier dargestellt werden. Im Anschluss wird darauf eingegangen, inwiefern diese auf K3 zu übertragen sind.

1 Einleitung

Der Bedarf an Summarizing steigt stetig. Immer mehr Informationen sollen in immer kürzerer Zeit erfasst werden. Das Ziel vom automatischen Summarizing ist es, aus einer Informationsquelle den wichtigsten content herauszuziehen und diesen dem Benutzer auf verständliche Weise zu präsentieren. [vgl. Mani01a] So können Personen, die keine Zeit haben alle einschlägigen Wissensobjekte vollständig durchzulesen, sich einen Überblick über ein Wissensgebiet verschaffen. [vgl. Kuhlen] Auch für Suchmaschinen sind Zusammenfassungen eine wesentliche Erleichterung, da nur noch die Zusammenfassungen durchsucht werden müssen, um die relevanten Objekte zu finden. [vgl. Kupiec et al.]

Von den meisten wissenschaftlichen Arbeiten gibt es, i.d.R. vom Autor selbst geschriebene Zusammenfassungen, sogenannte Abstracts . Aber nicht nur im wissenschaftlichen Bereich, sondern auch in anderen Bereichen wird immer mehr Wissen produziert und führt somit zu immer höheren Informationsmengen. Unzählige Diskussionsforen und die Darstellung von Wissen in jeder Art in un-zähligen Website hat zu einer Explosion von Wissensobjekten geführt. [vgl. Kuhlen] Dies führt zwangsläufig zu einem Orientierungsproblem. Um diesem entgegen zukommen wird verstärkt Summarizing eingesetzt.

Doch ist es auch entscheidend die Effizienz von Summarizing Methoden zu testen. Hierfür stehen eine Reihe von Evaluationsmethoden zur Verfügung, die in der Seminararbeit vorgestellt werden. Im Anschluss wird darauf eingegangen, welche der vorgestellten Methoden für ein Summarizing von K3 Diskussionsbeiträgen in Betracht kommen.

2 Abstracts und Extracts

Es werden zwei Arten von S ummarizing unterschieden, die A bstracts und die Extracts . Bei E xtracts handelt es sich um Zusammenfassungen, die eine Anzahl von Worten und Sätzen wörtlich aus dem Orginaltext übernehmen. Wogegen bei A bstracts Zusammenfassungen anhand des aus dem Text gezogenen contents geschrieben werden. [vgl. Hovy05]

Abstracts werden häufig von professionellen A bstractern verfasst. Doch der steigende Bedarf an S ummarizing macht die Bedeutung des automatischen S ummarizing immer deutlicher. Für die Entwicklung von automatischen S ummarizing werden häufig die Arbeitsmethoden der professionellen S ummarizer beobachtet und nachempfunden. [vgl. Mani01a] Viele Verfahren basieren auf dem Luhn-Algorithmus (Luhn 1958), der Sätze mit signifikant hohem Vorkommen signifikanter Wörter extrahiert. [Kuhlen]

Es gibt indikative und informative Abstracts . I ndikativen Abstracts , dienen i.d.R. als Orientierung, informative Abstracts sollen zusammenfassend über die wesentlichen Inhalte, Methoden und Ergebnisse informieren. Nach herrschender Meinung sollen A bstracts keine Wertungen beinhalten, sondern nur das widergeben, was im Originaltext vorhanden ist. Das sogenannte slanted Abstract oder auch adaptives Abstract ist auf eine eng definierte Zielgruppe oder sogar nur auf eine einzige Person zugeschnitten.

In der Regel handelt es sich um Textform. Aber Abstracts können auch als grafische Visualisierung und als strukturierte Positionsreferate entwickelt werden. Werden mehrere Texte zusammengefasst, spricht man von Multidocument Summaries . [vgl. Kuhlen]

3 Multidocument Summarizing

Das Multidocument Summarizing (MDS) ist erst in letzter Zeit Gegenstand computerlinguistischer Forschung geworden.[vgl. Hovy05] Hier kommen meist statistische Verfahren oder neuronale Netzwerke zum Einsatz. Zur Zeit wird intensiv über bspw. den Einsatz von Clustertechniken für relevanter Sätze aus verschiedenen Texten und von lead sentences geforscht sowie einer Kombination von Zufallstreffern und der Extraktion benachbarter Sätze.

Entscheidend für den Erfolg eines MDS ist die Kohärenz der zusammenzufassenden Dokumente. Neben dem cross-lingual Summarizing gewinnt das Summarizing von elektronischer Kommunikation, z. B. eMail-Threads oder Chat Logs und von Interaktions-/Gesprächssituationen zunehmend an Bedeutung. [vgl. Kuhlen]

Doch stellt sich nun die Frage, wie man beurteilen kann, ob es sich um ein gutes Abstract oder E xtract handelt. Hierfür werden verschiedene Evaluationsmethoden eingesetzt, auf die im nächsten Kapitel näher eingegangen werden soll.

4 Evaluation

Die Evaluierung ist ein entscheidender Prozess im automatischen Summarizing . Doch gibt es einige Probleme, die bei der Evaluierung von Zusammenfassungen auftreten können:

- Die Evaluierung von Zusammenfassungen ist schwierig, da nicht eindeutig festgelegt ist, wie eine gute Zusammenfassung aussehen soll, denn es gibt mehrere gute Lösungen. [vgl. Hovy02, Firmin, Chrzanowski] Eine automatisch erstellte Zusammenfassung kann eine gute Zusammenfassung sein und dennoch stark von einer Zusammenfassung abweichen, die von einer Person erstellt wurde. Dies macht den Vergleich zwischen den Zusammenfassungen, die von Personen und denen die maschinell erstellt wurden, schwierig.
- Sollen Zusammenfassungen von Gutachtern evaluiert werden, so sind die Kosten meist hoch und deshalb ist ein Ranking Programm zu bevorzugen.
- Zusammenfassungen komprimieren den Ursprungstext. Deshalb sollen Zusammenfassungen auf verschiedene Kompressionsraten evaluiert werden können.
- Zusammenfassungen sollen i.d.R gut formuliert und zusammenhängend geschrieben sein. Wird jedoch nur die Lesbarkeit evaluiert, wird nicht in Betracht gezogen, ob es sich um eine gute Zusammenfassung der Quelle handelt. So müssen weitere Evaluierungsverfahren angewandt werden.
- Sollen Zusammenfassungen auf bestimmte Informationsbedürfnisse zugeschnitten sein, so müssen die Nutzerbedürfnisse in Betracht gezogen werden, was eine Evaluierung ebenfalls erschwert. [vgl. Mani01a]

5 Evaluationsverfahren

Man unterscheidet zwischen intrinsischen und extrinsischen Evaluationsverfahren. Das Ziel von intrinsischen Evaluationsverfahren ist es die ideale Zusammenfassung zu finden. Hierfür werden Zusammenfassungen anhand verschiedener Kriterien bewertet. Bei extrinsischen Evaluationsverfahren dagegen werden Zusammen-fassungen darauf hin bewertet, in welcher Art und Weise Aufgaben, wie z. B. Relevanzbewertungen, Leseverständnis etc. zu lösen sind. In der Regel werden intrinsische Evaluationsverfahren im frühen Stadium vom Technologiezyklus eingesetzt. Extrinsische Evaluationsverfahren haben den Vorteil, dass sie einen hohen praktischen Wert aufweisen, da sie sehr stark aufgabenbezogen sind. [vgl. Mani01b, Hovy05]

Die eigentliche Evaluation wird meist mit Hilfe von Versuchspersonen durchgeführt. Diese sollen ein gegebenes Abstract hinsichtlich Lesbarkeit und inhaltlicher Repräsentativität beurteilen oder aber aus dem Volltext die für sie relevanten Sätze manuell extrahieren.

5.1 Intrinsische Evaluationsverfahren

Es gibt zwei Arten von intrinsischer Evaluation. Bei der einen liegt der Schwerpunkt auf der Evaluation der Qualität der Zusammenfassungen, bei der anderen auf der Evaluation des Informationsgehaltes.

5.1.1 Qualitätsevaluation

Bei der Qualitätsevaluation spielt das Urteil von Versuchspersonen immer eine große Rolle. Sie urteilen über die Qualität der Zuammenfassungen an sich oder im Vergleich zur Qualität der Ursprungsquelle. Doch ist es nicht immer gewährleistet, dass die Gutachter die Beurteilungskriterien korrekt und konsistent beurteilen.

Häufig werden Beurteilungen über die Lesbarkeit herangezogen. So können gute Rechtschreibung und Grammatik, klare Aufmachung des Themas und der Quelle des Dokuments, unpersönlicher Stil, Konsistenz, und leichtes Verständnis als Qualitätskriterien herangezogen werden. [vgl. Rowley]

Der Qualitätsanspruch unterscheidet sich von Anwendung zu Anwendung. Für ein automatisches Ranking bietet die Qualität kein ausreichender Ansatzpunkt, da die Beurteilung zu „grobmaschig“ ist. Die Qualität allein ist kein ausreichendes Gütemerkmal für eine gute Zusammenfassung der Quelle, denn der Informationsgehalt ist von entscheidender Bedeutung. [vgl. Mani01a]

[...]

Details

Seiten
25
Jahr
2006
ISBN (eBook)
9783638577540
Dateigröße
561 KB
Sprache
Deutsch
Katalognummer
v65110
Institution / Hochschule
Universität Konstanz – FB Informatik und Informationswissenschaften
Note
1,7
Schlagworte
Evaluierungsverfahren Summarizing Methoden Ergebnisse Seminar

Autor

Teilen

Zurück

Titel: Evaluierungsverfahren für automatisches Summarizing - Methoden, Ergebnisse, mögliche Übertragung auf K3