Seminar im Hauptstudium

English

Im Sommersemester 2007 findet am Lehrstuhl für Informatik 6 ein

Seminar "Lernverfahren in der Mustererkennung"

statt.

Anmeldung zum Seminar:

Die Anmeldung zum Seminar ist ausschliesslich zentral über eine Anmeldeseite der Informatik möglich. Einen entsprechenden Link finden Sie auch auf der Hauptseite der Fachgruppe Informatik.

Bedingungen:

• Vordiplom/Bachelor 
• Besuch der Vorlesungen Pattern Recognition and Neural Networks,  Speech Recognition oder  Statistical Methods in Natural Language Processing  oder Nachweis äquivalenten Wissens.
  

Ablauf und Termine:

Das Seminar findet an folgenden Terminen:

• Gliederungen:   Abgabe bis spätestens zum Beginn des Semesters (2. April 2007) im Sekretariat des Lehrstuhls Informatik 6 oder bei dem Betreuer/der Betreuerin. Gleichzeitig ist ein Termin mit dem Betreuer/der Betreuerin zur Besprechung der Gliederung zu vereinbaren.
  Spätestens zwei Wochen nach Semesterbeginn ist die überarbeitete Gliederung abzugeben.
• Ausarbeitungen: Abgabe bis spätestens 1 Monat vor dem Probevortragstermin im Sekretariat des Lehrstuhls Informatik 6  oder bei dem Betreuer/der Betreuerin.
• Vortragsfolien: Abgabe bis spätestens 1 Woche vor dem Probevortragstermin im Sekretariat des Lehrstuhls Informatik 6  oder bei dem Betreuer/der Betreuerin.
• Probevorträge: siehe Themen, mindestens 2 Wochen vor dem Vortragstermin.
• Seminarvorträge: Der genaue Termin des Vortragsblocks (voraussichtlich Ende Juli 2007) und die genaue Einteilung wird noch vereinbart und unter den einzelnen  Themen bekanntgegeben.
• Endgültige (ggfls. korrigierte) Ausarbeitungen und Vortragsfolien: Abgabe bis spätestens 2 Wochen nach dem Vortragstermin im Sekretariat des Lehrstuhls Informatik 6 oder bei dem Betreuer/der Betreuerin.
• Anwesenheitspflicht: Voraussetzung für die Vergabe eines Leistungsnachweises ist die Anwesenheit aller Seminarteilnehmer und -teilnehmerinnen zu allen Vortragsterminen.

Achtung: Die Termine sind feste deadlines bei deren Überschreitung der Ausschluss vom Seminar droht.

Vortragsthemen, jeweilige Literatur und Teilnehmer:

1. Introduction to Kernel Methods (Schmitz; Supervisor: Philippe Dreuw)
   Vortrag: Montag, 16. Juli 2007, 9:00 Uhr
   
   Literaturliste:
   
   • N. Cristianini, J. Shawe-Taylor: An Introduction to Support Vector Machines and Other Kernel-based Learning Methods, Section 3, Cambridge University Press, 2004.
   • J. Shawe-Taylor, N. Cristianini: Kernel methods for pattern analysis Cambridge University Press, Section 2 and 3, 2004.
   • B. Schölkopf, A. Smola: Learning with Kernels , MIT Press, London, 2002.
   
   
2. Introduction to Support Vector Machines (Look; Supervisor: Philippe Dreuw)
   Vortrag: Montag, 16. Juli 2007, 10:00 Uhr
   
   Literaturliste:
   
   • N. Cristianini, J. Shawe-Taylor: An Introduction to Support Vector Machines and Other Kernel-based Learning Methods, Section 6, Cambridge University Press, 2004.
   • B. Schölkopf, A.J. Smola, C.J.C. Burges (Hrsg.): Advances in kernel methods. Support vector learning MIT Press, 1999.
   
   
3. Introduction to MLP-based Features (Ewert; Supervisor: Christian Plahl)
   Vortrag: Montag, 16. Juli 2007, 11:00 Uhr
   
   Literaturliste:
   
   • Lei, Hwang, Ostendorf: Incorporating tone related MLP Posteriors in the future representation for Mandarin ASR, INTERSPEECH 2005
   • Stolcke, Morgan: Cross domain and cross language features estimated by Multilayer Perzeptron, ICASSP 2006
   • Chen, Zhu, Morgan: Learning Long-Term Temporal Features in LVCSR using neural networks, INTERSPEECH 2004 general Introduction: H. Bourlard and N. Morgan, Connectionist speech recognition a hybrid approach," in Kluwer Academic Press, 1994.
   
   
4. Introduction to Discriminative Training (Preuschl; Supervisor: Georg Heigold)
   Vortrag: Montag, 16. Juli 2007, 12:00 Uhr
   
   Literaturliste:
   
   • D. Povey and P. C. Woodland: Minimum Phone Error and I-Smoothing for Improved Discriminative Training. Proc. IEEE Int. Conf. on Acoustics, Speech and Signal Processing, 105 -- 108, vol. 1, 2002, Orlando, FL.
   • D. Povey: Discriminative Training for Large Vocabulary Speech Recognition. PhD thesis, Cambridge, England, 2004.
   • R. Schlüter: Investigations on Discriminative Training Criteria. Dissertation, Aachen, Germany, September 2000.
   
   
5. Maximum Entropy Methods (NN; Supervisor: Georg Heigold)
   
   Literaturliste:
   
   • E. T. Jaynes: Information Theory and Statistical Mechanics. Phys. Rev., 106, 620, 1957.
   • evtl. Edwin T. Jaynes: Probability theory. The logic of science . Cambridge UP, 2003.
   • John Lafferty, Andrew McCallum, Fernando Pereira: Conditional Random Fields: Probabilistic Models for Segmenting and Labeling Sequence Data. Proc. 18th International Conf. on Machine Learning, 2001.
   • Charles Sutton and Andrew McCallum: An Introduction to Conditional Random Fields for Relational Learning. MIT Press. 2006.
   
   
6. String Kernels (Gör; Supervisor: Daniel Stein)
   Vortrag: Dienstag, 17. Juli 2007, 14:00 Uhr
   
   Literaturliste:
   
   • E. Herbst, T. Joachims: SVMhmm Sequence Tagging with Support Vector Machines and its Application to Part-of-Speech Tagging, Cornell University, July 2006
   • J. Shawe-Taylor, N. Cristianini: Kernel methods for pattern analysis Cambridge University Press, Section 10 and 11, 2004.
   
   
7. Support Vector Machines for Hidden Markov Modeling (Bachwerk; Supervisor: Georg Heigold)
   Vortrag: Dienstag, 17. Juli 2007, 15:00 Uhr
   
   Literaturliste:
   
   • H. Lodhi, C. Saunders, J. Shawe-Taylor, N. Cristianini, C. Watkins: Text Classification using String Kernels, Journal of Machine Learning Research, 2:419-444, 2002.
   • Ganapathiraju, A., Support vector machines for speech recognition PhD Thesis, Mississipi State University, 2002.
   
   
8. Discriminative Alignment for Machine Translation (Belle; Supervisor: Arne Mauser)
   Vortrag: Dienstag, 17. Juli 2007, 16:00 Uhr
   
   Literaturliste:
   
   • Ben Taskar, Simon Lacoste-Julien, and Dan Klein: A Discriminative Matching Approach to Word Alignment. In Proc. HLT/EMNLP 2005, pp. 73--80, Vancouver, Canada, 2005.
   • Robert C. Moore: A Discriminative Framework for Bilingual Word Alignment. In Proc. HLT/EMNLP 2005, pp. 81-88, Vancouver, Canada, 2005.
   • Phil Blunsom and Trevor Cohn: Discriminative Word Alignment with Conditional Random Fields p. 65-72, ACL 2006, Sydney
   
   
9. Discriminative Training for Machine Translation (Jongiran; Supervisor: Arne Mauser)
   Vortrag: Mittwoch, 18. Juli 2007, 14:00 Uhr
   
   Literaturliste:
   
   • Ben Taskar, D. Klein: Max-Margin Methods for NLP: Estimation, Structure, and Applications. Tutorial presented at ACL 2005, Ann Arbor, MI, June 2005.
   • Percy Liang, Alexandre Bouchard-Côté, Dan Klein, and Ben Taskar: An End-to-End Discriminative Approach to Machine Translation, p. 761-768, ACL 2006, Sydney
   • Christoph Tillmann and Tong Zhang: A Discriminative Global Training Algorithm for Statistical MT, p. 721-728, ACL 2006, Sydney
   
   
10. Maximum Entropy for Machine Translation (Guta; Supervisor: Daniel Stein)
    Vortrag: Mittwoch, 18. Juli 2007, 15:00 Uhr
    
    Literaturliste:
    
    • Adam L. Berger, Stephen A. Della Pietra, Vincent J. Della Pietra: A Maximum Entropy Approach to Natural Language Processing, In Computational Linguistics, 1996.
    • Abraham Ittycheriah, Salim Roukus: A Maximum Entropy Word Aligner for Arabic-English Machine Translation In Proc. HLT/EMNLP 05, pp. 89--96, Vancouver, Canada, 2005.
    • I. Varea, F. Och, H. Ney and F. Casacuberta: Refined Lexicon Models for Statistical Machine Translation using a Maximum Entropy Approach , Associtation for Computational Linguistics, pp. 204--211, USA, 2001.
    • A. Ittycheriah, S. Roukus: Direct Translation Model 2, Proc. of NAACL HLT 2007, pp. 57-64, 2007.
    
    
11. Maximum Entropy for Speech Recognition (Tihar; Supervisor: Christian Plahl)
    Vortrag: Mittwoch, 18. Juli 2007, 16:00 Uhr
    
    Literaturliste:
    
    • W. Macherey and H. Ney: A comparative study on maximum entropy and discriminative training for acoustic modeling in automatic speech recognition. Proc. European Conference on Speech Communication and Technology (ICSLP), Geneva, Switzerland, 2003.
    • M. K. Omar and M. Hasegawa-Johnson: Maximum Conditional Mutual Information Projection for Speech Recognition. Proc. of the Int. Conf. on Spoken Language Processing (ICSLP), Geneva, Switzerland, 2003.
    • D. Povey, B. Kingsbury, L. Mangu, G. Saon, H. Soltau and G. Zweig: fMPE: Discriminatively Trained Features for Speech Recognition. Proc. of the Int. Conf. on Acoutics, Speech, and Signal Processing (ICASSP), Philadelphia, PA, 2005.
    
    
12. Maximum Entropy for Language Modeling (NN; Supervisor: Stefan Hahn)
    • Ronald Rosenfeld: Two Decades of Statistical Language Modeling: Where do we go from here? Proc. of IEEE, 88(8):1270--1278, 2000 (speziell: Abschnitt ueber ME/exp. models)
    • Sehr gute Uebersicht und Literaturrefferenzen auf den Webpages von Zhang Le:
      • http://homepages.inf.ed.ac.uk/s0450736/maxent.html
      • http://homepages.inf.ed.ac.uk/s0450736/slm.html
    • Speziell zu LM mit ME: Ronald Rosenfeld: Adaptive Statistical Language Modeling: A Maximum Entropy Approach. PhD Thesis, CMU Pittsburgh, PA, 1994

Informationen zur Ausarbeitung und zum Vortrag:

• Online LaTeX-Dokumentationen:

• LaTeX: "A document preparation system"
• LaTeX help 1.1
• The Not So Short Introduction to LaTeX
  
• LaTeX 2e for authors

• Dokumentvorlagen:

• Vorlage für die Ausarbeitung (164kB), beinhaltet die Vorlage und alle benötigten Dateien im tar Format (oder hier (53kB) im zip Format).
• Vorlage für den Vortrag (4.9MB), beinhaltet die Vorlage, alle benötigten Grafiken und unsere Lehrstuhlstilvorlage, im zip Format.

• Einige Regeln für Folien und Ausarbeitung:

• Ziel des Seminars für Sie ist, folgendes zu erlernen:
• sich in ein Thema einzuarbeiten und zu vertiefen
• sich kritisch mit der Literatur auseinander zu setzen
• einen Vortrag zu halten
• Beachten Sie Bezüge zu anderen Themen im Seminar und kommunizieren Sie untereinander!
  
• Prüfen Sie, dass Sie in Ihrem Thema bleiben! Dazu sollten Sie sich auch der Bezüge zu den anderen Themen im Seminar bewusst sein! Ggfls. auch Querverweise auf andere Vorträge/Ausarbeitungen dieses Seminars vornehmen.

• Wichtig: Im Anschluss an eine Einleitung ist eine Folie mit der (wichtigsten) für den Vortrag verwendeten Literatur anzugeben. Darüberhinaus sollte im Vortrag ersichtlich sein, auf welche Literatur sich der jeweilige Teil des Vortrags bezieht.
  
• Beachten Sie Bezüge zu anderen Themen im Seminar und kommunizieren Sie untereinander!
  
• Es wird erwartet, dass Sie sich weitere Literatur zu Ihrem Thema eigenständig besorgen. Fragen zur Literaturrecherche werden Ihnen in der Bibliothek der Fachgruppe Informatik gern beantwortet. Die Möglichkeit zur Recherche besteht natürlich auch in der Lehrstuhlbibliothek am Lehrstuhl für Informatik 6.
• Notation/mathematische Formeln: es ist unbedingt auf konsistente und korrekte Notation zu achten! Das heisst im Allgemeinen, dass die Notationen, wie Sie in der Literatur angegeben ist, unter Umständen erheblich zu modifizieren, bzw. bei unterschiedlicher Notation in verschiedenen berücksichtigten Publikationen, abzugleichen ist. Die am Lehrstuhl für Informatik 6 gehaltenen Vorlesungen geben Ihnen einen Eindruck, wie eine gute Notation aussehen sollte.
  
• Tabellen haben immer eine Überschrift.
• Grafiken haben immer eine Unterschrift.
• Falls Sie keine adäquate Übersetzung für englische Fachausdrücke finden, benutzen Sie diese unverändert.
• Ausarbeitungen und Folien können auch in Englisch angefertigt werden (gute Übung!).
  
• Vollständigkeit: Zitieren Sie alle von Ihnen verwendete Literatur.
• Die Form der Zitate soll wie in der Vorlage für die Ausarbeitung vorgegeben aussehen.
• Verwenden Sie Beispiele, um das Gesagte anschaulich zu erläutern.
• Beispiele sollten so komplex wie nötig und so einfach wie möglich sein.
• Ihre Folien sollen Sie als Vortragenden nicht ersetzen, sondern:
• wesentliche Zusammenhänge aufzeigen;
• eine Gedächtnisstütze für den Zuhörer (und für Sie als Vortragenden) sein;
• dem Zuhörer die Orientierung in Ihrem Vortrag erleichtern;
• Keine ausformulierten Sätze, sondern statt dessen prägnante Stichworte enthalten;
• Illustrationen einsetzen, wo immer Sie sinnvoll sind - ein Bild kann tausend Worte ersetzen!
• Abkürzungen bei erster Nennung in der folgenden Form definieren: z.B. "[...] an der Rheinisch-Westfälischen Technischen Hochschule (RWTH) gibt es [...]"
• Prüfen Sie, dass Sie in Ihrem Thema bleiben! Dazu sollten Sie sich auch der Bezüge zu den anderen Themen im Seminar bewusst sein! Ggfls. auch Querverweise auf andere Vorträge/Ausarbeitungen dieses Seminars vornehmen.
• Einsatz von Schriftgrößen, Schriftarten und Farben: diese Mittel sollten gezielt und auf jeden Fall konsistent eingesetzt werden, d.h. wird etwas abweichend in einer bestimmten Farbe, Schriftart oder -größe dargestellt, sollte dies in Bezug zum Inhalt stehen. Insbesondere also keine wahllose Verwendung dieser Mittel!
  
• In den Folien sollte die Schriftgröße (auch innerhalb von Abbildungen) eine Mindestgröße nicht unterschreiten und es sollte so weit als möglich Fettschrift eingesetzt werden. Kriterium hierfür ist die gute Lesbarkeit auf dem Beamer auch wenn jemand weiter entfernt sitzt.
• 
  

Anmeldung zum Seminar:

Die Anmeldung zum Seminar ist ausschliesslich zentral über eine Anmeldeseite der Informatik möglich. Einen entsprechenden Link finden Sie auch auf der Hauptseite der Fachgruppe Informatik.

Rückfragen in Bezug auf alle organisatorischen Punkte bitte an:

Raum 6125b (1. Etage E2)
Telefon: 0241 / 80 21 612
E-Mail: schlueter@cs.rwth-aachen.de