[Date Prev][Date Next][Thread Prev][Thread Next][Date Index][Thread Index]

NODALI: Licentiatseminarium 17 maj, Martin Hassel: Evaluation of Automatic Text Summarization (fwd)



                                                   --  NODALI --

Date: Fri, 7 May 2004 08:54:26 +0200 (CEST)
From: Hercules Dalianis <hercules at kth dot se>
To: k2lab at dsv dot su dot se, iplab at nada dot kth dot se, siteseeker at euroling dot se,
        plan6 at nada dot kth dot se, humle at sics dot se, jussi at sics dot se,
        nodali at helsinki dot fi,
        phds at gslt dot hum dot gu dot se, Martin Hassel <xmartin at nada dot kth dot se>,
        supervisors at gslt dot hum dot gu dot se, cid at nada dot kth dot se,
        Kerstin Severinson Eklundh <kse at nada dot kth dot se>
Subject: Licentiatseminarium 17 maj, Martin Hassel: Evaluation of
         Automatic Text Summarization (fwd)


Licentiatseminarium

Titel: Evaluation of Automatic Text Summarization - A practical
implementation

Tid: Måndagen den 17 maj 2004, kl. 13.15-15.00
Plats: E2, Osquars  Backe 2 / Lindstedtsvägen 3, Kungl Tekniska
       högskolan, Stockholm
Respondent: Fil. Mag. Martin Hassel, IPLAB-NADA-KTH
Opponent: Fil. Dr. Jussi Karlgren, SICS
Handledare/Examinator: Docent Hercules Dalianis, DSV-SU-KTH

Elektronisk version finns tillgänglig i KTH NADAs avhandlingsarkiv:
http://www.nada.kth.se/utbildning/forsk.utb/avhandlingar/lic/Hassel040517.pdf
8<------------

Abstract
Summaries are an important tool for familiarizing oneself with a subject
area. Text summaries are essential when forming an opinion on if reading
a document in whole is necessary for our further knowledge aquiring or
not. In other words, summaries save time in our daily work. To write a
summary of a text is a non-trivial process where one, on one hand has to
extract the most central information from the original text, and on the
other has to consider the reader of the text and her previous knowledge and possible special interests. Today there are numerous documents, papers, reports and articles available in digital form, but most of them lack summaries. The information in them is often too abundant for it to be possible to manually search, sift and choose which knowledge one should aquire. This information must instead be automatically filtred and extracted in order to avoid drowning in it.

Automatic Text Summarization is a technique where a computer summarizes a text. A text is given to the computer and the computer returns a shorter less redundant extract of the original text. So far automatic
textsummarization has not yet reached the quality possible with manual
summarization, where a human interprets the text and writes a completely
new shorter text with new lexical and syntactic choices. However,
automatic text summarization is untiring, consistent and always available.

Evaluating summaries and automatic text summarization systems is not a
straightforward process. What exactly makes a summary beneficial is an
elusive property. Generally speaking there are at least two properties of the summary that must be measured when evaluating summaries and
summarization systems - the Compression Ratio, i.e. how much shorter the
summary is than the original, and the Retension Ratio, i.e. how much of
the central information is retained. This can for example be accomplished by comparison with existing summaries for the given text. One must also evaluate the qualitative properties of the summaries, for example how coherent and readable the text is. This is usually done by using a pane of human judges. Furthermore, one can also perform task-based evaluations where one tries to discern to what degree the resulting summaries are beneficent for the completion of a specific task.

This licentiate thesis thus concerns itself with the many-faceted art of
evaluation. It focuses on different aspects of creating an environment for evaluating information extraction systems, with a centre of interest in automatic text summarization. The main body of this work consists of
developing human language technology evaluation tools for Swedish, which
has been lacking these types of tools. Starting from manual and time
consuming evaluation of the Swedish text summarizer SweSum using a
Question-Answering schema the thesis moves on to a semi-automatic
evaluation where an extract corpus, collected using human informants, can be used repeatedly to evaluate text summarizers at low cost concerning time and effort.

Thus, the licentiate thesis describes the first summarization evaluation
resources and tools for Swedish, and aims at bringing if not order, then
at least overview into chaos.

8<------------

Sammanfattning
Sammanfattningar är ett viktigt redskap för att vi snabbt skall kunna
orientera oss inom ett område. De är nödvändiga för att vi skall kunna
bestämma oss för om ett dokument är väsentligt för vårt vidare
kunskapsinhämtande eller inte. Med andra ord sparar sammanfattningar tid
för oss i vårt dagliga arbete. Att skriva en sammanfattning av en text är en inte helt trivial process där man dels skall extrahera den mest centrala informationen från originaltexten, dels ta hänsyn till den som läser sammanfattningen och dennes bakgrundskunskap och eventuella intressen. Idag finns det myriader av dokument, tidningar, rapporter, artiklar etc. tillgängliga i digital form, men ofta saknas det sammanfattningar av denna information. Information som är för omfattande för att det skall vara görligt att manuellt söka, sålla och välja ut vad man skall tillgodogöra sig. Denna information måste istället automatiskt filtreras och extraheras för att man inte skall drunkna i den.

Automatisk textsammanfattning är tekniken där en dator sammanfattar en
text. En text skickas till datorn och datorn returnerar ett kortare
icke-redundant extrakt av originaltexten. Automatisk textsammanfattning har ännu inte nått upp till den kvalitet som manuell textsammanfattning har, där en människa tolkar texten och skriver en ny kortare text med egna ord och nya syntaktiska konstruktioner. Automatisk textsammanfattning är dock outtröttlig, konsekvent och ständigt tillgänglig.

Bedömning av sammanfattningar och utvärdering av automatiska
textsammanfattningssystem är en komplex process. Vad som egentligen gör en sammanfattning användbar är en svårfångad egenskap. Enkelt uttryckt är det åtminstone två egenskaper hos sammanfattningen som måste mätas vid utvärdering av sammanfattningssystem -- komprimeringsgraden, dvs. hur mycket av originaltexten som har kastats bort, och bibehållandegraden, dvs. hur mycket av den centrala informationen som har bevarats. Detta kan t.ex. åstadkommas genom jämförelser mot manuellt framställda sammanfattningar av den givna texten. Sammanfattningens kvalitativa egenskaper måste också bedömas, såsom hur sammanhängande och förståelig texten är. Detta sker typiskt med hjälp av en panel av domare. Vidare kan även uppgiftsbaserade utvärderingar utföras, där man ser till vilken grad de resulterande sammanfattningarna är användbara till att utföra en viss given uppgift.

Denna licentiatavhandling behandlar den mångfacetterade konst som
utvärdering är. Den inriktar sig främst på olika aspekter av skapandet av en miljö för utvärdering av system för informationsextraktion, med
huvudsakligt fokus på automatisk textsammanfattning. Huvuddelen av detta
arbete har bestått i att bygga svenska språkteknologiska
utvärderingsverktyg, något som tidigare varit en bristvara. Med en
startpunkt i tidskrävande manuell utvärdering av den svenska automatiska
textsammanfattaren SweSum och med vidare utveckling mot halvautomatisk
utvärdering där en extraktkorpus, insamlad med hjälp av mänskliga
informanter, kan användas för att effektivt och repetitivt utvärdera
textsammanfattare.

Licentiatavhandlingen beskriver således de första svenska
utvärderingsresurserna för automatisk textsammanfattning, och syftar till att bringa om inte ordning, så i alla fall översikt över kaos.

8<------------

___________________________________________________________________________
Dr. Hercules Dalianis
Associate Professor (Docent)    Department of Computer and Systems Sciences
ph:+46 8 674 75 47 		DSV-KTH-Stockholm University
mobile ph: +46 70 568 13 59     Forum 100
fax:+46 8 703 90 25	      	164 40 Kista
email:hercules at kth dot se    	Stockholm, Sweden
www:http://www.dsv.su.se/~hercules/
___________________________________________________________________________