Blame view

test/functional/data.txt 8.33 KB
9ffd72ac1   Killian   ajout du test
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
  Nous proposons dans cet article une méthode non supervisée pour l’identification et
  la modélisation de concepts associés à une recherche d’information. Nous utilisons l’alloca-
  tion de Dirichlet latente (LDA), un modèle génératif probabiliste, pour détecter les concepts
  implicites de la requête en utilisant les documents obtenus par un processus de retour de perti-
  nence simulé (ou documents de
  feedback
  ). Notre approche estime automatiquement le nombre
  de concepts ainsi que le nombre de documents de
  feedback
  sans aucun apprentissage préalable
  ni paramétrage. Les concepts implicites sont pondérés afin de refléter leur importance relative
  par rapport à la requête et sont utilisés pour modifier l’ordre des documents renvoyés à l’utili-
  sateur. Nous utilisons quatre sources d’information générales de natures différentes (web, jour-
  nalistique, encyclopédique) à partir desquelles les documents de
  feedback
  sont extraits. Nous
  comparons différentes approches état-de-l’art sur deux collections
  ad-hoc
  de TREC, et les ré-
  sultats montrent que l’utilisation de concepts implicites identifiés par notre méthode améliore
  significativement les performances de recherche documentaire.
  ABSTRACT.
  In this paper we introduce an unsupervised method for mining and modeling la-
  tent search concepts. We use Latent Dirichlet Allocation (LDA), a generative probabilistic
  topic model, to exhibit highly-specific query-related topics from pseudo-relevant feedback doc-
  uments. Our approach automatically estimates the number of latent concepts as well as the
  needed amount of feedback documents, without any prior training step. Latent concepts are
  then weighted to reflect their relative adequacy and are further used to automatically reformu-
  late the initial user query. We also explore the use of different types of sources of information for
  modeling the latent concepts. For this purpose, we use four general sources of information of
  various nature (web, news, encyclopedic) from which the feedback documents are extracted. We
  evaluate our approach over two large ad-hoc TREC collections, and results show that it signif-
  icantly improves document retrieval effectiveness while best results are achieved by combining
  latent concepts modeled from all available sources.
  Le but de la Recherche d’Information (RI) est de satisfaire le besoin d’information
  d’un utilisateur, généralement en proposant des documents ou des passages provenant
  d’une collection cible. Ce besoin est habituellement représenté par une requête com-
  posée de quelques mots-clés, qui est soumise au système de recherche d’information.
  Le système cherche alors les documents qui contiennent les mots-clés, afin de fournir
  à l’utilisateur une liste de documents ordonnée en fonction de leur pertinence esti-
  mée par rapport à la requête. Seulement, un besoin d’information complet peut être
  trop complexe pour être exprimé en quelques mots, ou l’utilisateur peut ne pas avoir
  le vocabulaire ou les compétences nécessaires pour formuler efficacement la requête.
  Ingwersen (1994) dit en effet que la formulation d’une requête par un utilisateur est la
  représentation de son état cognitif actuel concernant un besoin d’information. Une re-
  quête peut ne pas être correctement formulée si l’utilisateur cherche des informations
  sur une thématique pour laquelle il n’a pas de connaissances. Ainsi, sans contexte ad-
  ditionnel, le système de recherche d’information peut manquer des nuances ou des
  détails que l’utilisateur n’a pas fourni dans la requête. Ce contexte peut prendre la
  forme d’un modèle des intérêts de l’utilisateur basé sur son historique personnel (ou
  ses interactions sociales), ou peut être composé d’éléments extraits de documents si-
  milaires représentant les thèmes de la recherche (Finkelstein
  Ce deuxième type de contexte est plus généralement connu sous le nom de « re-
  cherche d’information conceptuelle » et a reçu beaucoup d’attention au cours de ces
  dernières années L’idée générale est d’étendre les requêtes avec des
  ensembles de mots ou de multi-mots extraits de documents de
  feedback. L’ensemble de feedback est composé de documents qui sont pertinents ou pseudo-pertinents par
  rapport à la requête initiale, et qui sont à même de contenir des informations impor-
  tantes sur le contexte de la recherche. Les mots exprimant le plus d’information par
  rapport à la requête sont traités comme des concepts implicites. Ils sont alors utilisés
  pour reformuler la requête. Le problème avec cette approche est que chaque mot re-
  présente un concept spécifique. Seulement un concept représente une notion et peut
  être vu comme un ensemble de connaissances. Stock (2010) donne une définition qui
  suit cette direction en affirmant qu’un concept est défini comme une classe contenant
  des objets possédant certaines propriétés et attributs.
  L’objectif du travail présenté dans cet article est de représenter avec précision les
  concepts sous-jacents associés à une requête, améliorant indirectement les informa-
  tions contextuelles liées à la recherche documentaire. Nous introduisons ainsi une
  méthode entièrement non supervisée qui permet de détecter les concepts implicites
  liés à une requête donnée et d’améliorer les performances d’un système de recherche
  documentaire en incorporant ces concepts à la requête initiale. Pour chaque requête,
  les concepts implicites sont extraits d’un ensemble réduit de documents de
  initialement récupérés par le système. Ces documents de
  ous estimons la similarité entre deux modèles conceptuels en calculant les simi-
  larités entre toutes les paires de concepts des deux modèles. Seulement, deux modèles
  différents sont générés à partir de documents différents, ils ne partagent donc pas le
  même espace probabiliste. Les distributions de probabilités ne sont donc pas compa-
  rables, le calcul de similarité ne peut se faire qu’en prenant en compte les mots des
  concepts. Les concepts sont donc ramenés à de simples sacs de mots, et nous utilisons
  une mesure de similarité basée sur la fréquence inverse des mots dans les documents
  de la collection.
  La figure 1 présente des histogrammes traçant le nombre de requêtes en fonction
  du nombre de concepts implicites estimé et du nombre de documents de
  feedback
  ,et
  ce pour les deux collections. On voit que le comportement est relativement identique
  sur les deux collections. Entre deux et trois concepts sont identifiés pour la grande
  majorité des requêtes. De même ces concepts sont généralement identifiés au sein d’un
  nombre assez réduit de documents, entre deux et quatre pour les deux collections.
  Il est toutefois intéressant de noter la différence entre le nombre de documents de utilisés par les ressources Web et Wikipédia. On peut voir en effet que 2
  ou 3 articles Wikipédia suffisent pour un très grand nombre de requêtes, alors qu’un
  plus grand nombre est nécessaire pour la ressource Web. Ce comportement est très
  cohérent avec la nature même de Wikipédia, où les articles sont rédigés dans le but
  d’être très précis et de ne pas trop s’éparpiller. Il est d’ailleurs fréquent qu’un article
  devenu trop conséquent soit coupé en plusieurs autres articles traitant chacun un sujet
  très spécifique.
  Des idées empruntées à la physique ont déjà été utilisées dan
  s l’analyse de textes. Les exemples
  plus notables sont l’approche entropique de (Shannon, 1948
  ), les travaux de (Zipf, 1935; Zipf,
  1949) et de (Mandelbrot, 1953) où les auteurs font des consid
  érations thermodynamiques d’éner-
  gie et de température dans leurs études sur la Statistique Te
  xtuelle. Dernièrement se sont servi des notions de polarisation des système
  orientations sémantiques des mots (désirable ou indésirable) à partir de mots amorce. La sortie
  de ce système est une liste de mots indiquant leurs orientati
  ons estimés selon l’approximation
  du champ moyen. Dans notre travail, nous avons utilisé diffé
  remment la notion de spin des mots dans les documents. À
  partir de cet image, on aperçoit le document comme un matéria
  ux composé d’un ensemble de
  unités en interaction dont l’énergie peut être calculée. No
  us avons étudié les problèmes du Trai-
  tement Automatique de la Langue Naturelle (TALN) en utilisa
  nt la notion d’énergie textuelle.