namics Weblog
namics Weblog.
Persönliche Stimmen und Meinungen von Mitarbeiterinnen und Mitarbeitern.
namics @ www.flickr.com

Links

  • Sharepoint Weblog
  • about:namics
  • namics Website

AKTUELLE ARTIKEL

  • Firmenpolitik oder Sabotage
  • Erfolgsfaktoren für Intranet-Wikis in Unternehmen (Vortrag)
  • Zwei Fragen zu Online Kommunikation
  • Ich kann nicht mehr alles lesen, aber cool sieht es aus
  • Vortrag: Das Wiki wird erwachsen
  • Bei mehr als 1GB/Sekunde vorher melden: Die Wolkenfront ist da
  • Bildersuche nach Farbe (auf Basis von Flickr)
  • Vortrag auf dem ECM World Summit
  • Gleichberechtigte Sichten im Intranet
  • Pragmatisches User Centered Design bei bahn.de

Kategorien

  • Accessibility
  • Blogging
  • Business
  • CEO-Post
  • Collaboration
  • Design
  • Fehlermeldungen
  • Gesellschaft
  • Information Retrieval
  • Lotusphere
  • Mobile
  • Online Marketing
  • Orbit-iEX
  • Project Management
  • SEO+SEM
  • Technologie
  • Vorträge
  • Web Analytics

Archive

  • November 2008
  • Oktober 2008
  • September 2008
  • August 2008
  • Juli 2008
  • Juni 2008
  • Mai 2008
  • April 2008
  • März 2008
  • Februar 2008
  • Januar 2008
  • Dezember 2007
  • November 2007
  • Oktober 2007
  • September 2007
  • August 2007
  • Juli 2007
  • Juni 2007
  • Mai 2007
  • April 2007
  • März 2007
  • Februar 2007
  • Januar 2007
  • Dezember 2006
  • November 2006
  • Oktober 2006
  • September 2006
  • August 2006
  • Juli 2006
  • Juni 2006
  • Mai 2006
  • April 2006
  • März 2006
  • Februar 2006
  • Januar 2006
  • Dezember 2005
  • November 2005
  • Oktober 2005
  • September 2005
  • August 2005
  • Juli 2005
  • Juni 2005
  • Mai 2005
  • April 2005
  • März 2005
  • Februar 2005
  • Januar 2005
  • September 2004
  • August 2004
  • Juli 2004
  • Juni 2004
  • Mai 2004
  • April 2004
  • Februar 2004
  • Februar 2003

XML und Mumbo Jumbo

  • namics ag
  • namics ag
  • namics ag
  • Atom Feed
  • RSS 2.0 Feed
  • Creative Commons License
    Dieses Weblog untersteht der Creative Commons Lizenz
  • Powered by Movable Type 3.35
« Stichprobe: 1 Milliarde | Übersicht | Aufsitzen auf den Google-Brand »
26
Jan
Wissen Sie: Auf die Relevanz kommt es an!
gepostet von Jürg Stuker am 26.01.2006 um 00:30

Ein bisschen verzweifelt werde ich schon, wenn in einer Präsentation das Wort zu häufig vorkommt. "Die Ergebnisse sind nach Relevanz gewichtet", "...unser Relevanz-Algorithmus stellt sicher...", oder "...links aussen sehen Sie den Relevanz-Wert". Eine kurze Übersicht und (hoffentlich) einen Beitrag zur Realität.

Relevant heisst schlussendlich bedeutsam oder wichtig. Aber für wen und im welchen Kontext?

Die Frage nach dem Kontext der Interpretation stellt sich massiv. So erwartet ein Sportfan eine andere Antwort auf die Anfrage "schwarzer Läufer", als wie eine Person die das Schachspiel lernt oder jemand, der eine Wohnung einrichtet. Oder dieselbe Person zu unterschiedlichen Zeiten. Entschuldigen sie mir das doofe Beispiel, aber der Läufer eignet sich gut, weil er sehr viele unterschiedliche Bedeutungen auf sich vereinigt.

Meist wird Relevanz aber im Zusammenhang mit Suchtechnologie genutzt. Dort gilt es meist einer grosse Menge unstrukturierten Dokumenten zu einer kurzen Anfrage so zu rangieren, dass das wichtigste oben ist. Nach Relevanz für den konkreten User mit einem konkreten Bedürfnis in einem konkreten Kontext. Und all das "konkrete" kennt die Suchmaschine nicht. Deshalb rangiert Google Desktop Search beispielsweise standardmässig nach Datum...

So und nun zur Sachlichkeit mit der folgenden Abbildung (aus dem Buch Informationsbeschaffung im Internet):

Graphik welche die drei Beziehungen objektive, geschätzte und subjektive Relevanz visulisiert

1) Die subjektive Relevanz. Bezüglich meiner Anfrage hier und jetzt an ein Suchsystem habe ich eine klare Erwartung, was relevant ist. So suche ich beispielsweise die Homepage von namics. Ab und zu kann ich diese Erwartung zwar nicht textuell in Form einer Suchmaschinenquery ausdrücken. Bei "namics" ist das wohl einfach.

2) Die geschätzte Relevanz. Das Suchsystem versucht mit Hilfe eines (meist statistischen) Verfahrens zu schätzen, was für mich relevant ist. Dies ist ein bleibt immer eine Schätzung, da das System nicht im mich reinsehen kann. Viele der Suchsystem arbeiten hier sehr simpel. Neuste Ansätze sammeln historische Suchanfragen von mir sowie besuchte Webseiten und versuchen daraus meine Präferenzen zusätzlich in meine Anfrage einzubeziehen. Die Schätzung wird besser, bleibt aber eine Schätzung. So gebe ich (wieder) "namics" in das Suchfeld ein und die Maschine schätzt nun -- wegen häufig besuchter Seiten -- den namics Weblog als relevanter ein als die Homepage.

3) Die objektive Relevanz ist ein Konstrukt, welches bei der Evaluation von Suchmaschinen benötigt wird. Je nach Ansatz bewertet hier eine Fachjury was relevant sein muss. So könnte sie bei "namics" beschliessen, es sei die Firma in Japan (weil die sicher mehr Umsatz hat ;-)

Abschliessend. Eine Rangierung nach Relevanz tönt gut, gehört aber mächtig hinterfragt. Die Rechenregeln mit welchen ein System Relevanz schätzen kann, können beliebig unterschiedlich sein. Oder: Bei News kann eine Datumsrangierung immer besser sein... Keine Wundermedizin aber eine Formel die schätzt...


TRACKBACK

TrackBack URL for this entry:
http://blog.namics.com/mt/mt-tb.cgi/366

KOMMENTARE

Und was ist Dein Vorschlag zur Erhöhung der subjektiven Relevanz der Suchresultate?
Um bei Deinen Beispiel mit dem Läufer zu bleiben, müsste die Suchmaschine die unterschiedliche Semantik kennen und vor oder zumindest mit den Suchresultaten prominente Links/Filter anbieten für Sportfans, Schachspieler und Wohnungssuchende.
Oder hast Du eine andere Idee?

gepostet von David am 26.01.06 14:55

Hallo David

> Schritt 1:

Den User kennen. Daher speichert Google bspw. alle Suchanfragen (und ordnet diese den angemeldeten Usern zu: http://blog.namics.com/2005/07/pagerank_und_wi.html). Grundsätzlich wäre auch möglich, dass sie über den Toolbar / Deskbar die Browsebewegungen speichern und Usern zuordnen (tun sie aktuell nicht).

Yahoo macht es mit 360 (http://360.yahoo.com), wo ich selbst den (historischen) Inhalt von Webseiten speichern, meine Bookmarks speichern kann etc. (all dies kann von der Suchmaschine analysiert werden)

Damit kennt die Maschine den User möglicherweise ein bisschen besser, aber nicht den Kontext.

> Schritt 2

Ziel müsste sein den aktuellen Kontext zu kennen und das geht nur mit Fragen stellen. Das Ding läuft unter dem Titel Search-Guide. D.h. gibt der User "schwarzer Läufer" ein, so fragt die Suchmaschine welche Domäne interessiert (Sport, Industrie, Schach, Teppich etc.) Diese Analyse der Frage resp. die Zuordnung des Konzeptes zu Gruppen kann manuell erfolgen, doch gibt es auch statistische Ansätze. Letztere haben bedeutende Schwächen benötigt aber weniger Pflege.

Was auch geht sind Treffergruppen anzeigen (so genannte Strati), womit der User visuell wählen/scannen kann oder sonst eine Art der aktiven Wahl.


> Billige Lösung

Die Ansätze oben sind aufwändig bis unmöglich (d.h. nur bei viel Traffic und guten Quellen möglich etc.) Was ich häufig vorschlage sind deshalb Top-Treffer (im Stil von Google-Werbung) welche redaktionell gepflegt werden und die wahrscheinliche Alternativen die nicht auf der Trefferliste sind, ergänzen


PS. Da werde ich mal einen ganzen Post dazu machen...

gepostet von Jürg Stuker am 26.01.06 21:30

Danke für die ausführliche Anwtort - ich bin schon auf den ausführlichen Artikel gespannt...

gepostet von David am 27.01.06 14:04

KOMMENTAR SCHREIBEN

Name:

E-Mail Adresse:

URL:

Bitte das Ergebnis von 1 + 2 als Ziffer (Spamschutz):