Navigation – Plan du site

AccueilNuméros11-1Le résumé et le titrage automatiq...

Le résumé et le titrage automatique partagent-ils les mêmes objectifs ?

Cédric Lopez, Violaine Prince et Mathieu Roche

Résumés

Dans la littérature, les tâches de résumé et de titrage automatique sont souvent confondues. A priori, il semble qu’un résumé de quelques mots peut constituer un titre tout à fait pertinent. Mais peut-on comparer un titre et un résumé sans auparavant en avoir étudié leurs critères ? Cette étude a pour but de positionner l’émergente tâche de titrage automatique par rapport à celle de résumé automatique. Après avoir défini les critères attachés au résumé et au titre, nous analysons les résultats obtenus via notre méthode automatique de classification, permettant de rendre compte des objectifs réels des deux tâches et de valider leur pertinence.

Haut de page

Texte intégral

1. Introduction

  • 1 Traitement Automatique de la Langue

1La masse de documents textuels est en perpétuelle croissance et nécessite des applications robustes afin d’automatiser efficacement le traitement des informations. En particulier, les tâches de titrage et de résumé automatique sont essentielles pour répondre aux problématiques de l’accessibilité du Web. Alors que de nombreux travaux ont été publiés depuis la fin des années 1950 à propos du résumé automatique (Luhn, 1958), plus récemment, le titrage automatique demeure discret et semble connaître quelques difficultés quant à sa position dans le domaine du TAL1. Pourtant, l’enjeu du titrage automatique est grand.

2L’intérêt du titrage automatique ne se réduit pas à proposer un titre pour les documents textuels qui n’en possèdent pas, bien que cela constitue une première motivation. Par exemple, le titrage de mails sans titre permettrait de faire gagner du temps à l’utilisateur ainsi que de respecter un des critères de la norme W3C. Mais le titrage de page Web est avant tout un des domaines clés de l’accessibilité des pages web tel que défini par la norme proposée par les associations sur le handicap. Côté lecteur, l’objectif est d’augmenter la lisibilité des pages tout venants obtenus à partir d’une recherche sur mot-clé et dont la pertinence est souvent faible, décourageant les lecteurs devant fournir de grands efforts cognitifs. Côté producteur de sites Web, l’objectif est d’améliorer l’indexation des pages pour une recherche plus pertinente.

3Nous verrons par la suite que dans le domaine du TAL, les titres sont souvent confondus avec les résumés. Une comparaison entre ces deux entités constitue un enjeu crucial pour les futures études. En particulier, nous essayons de répondre à la question suivante : Un bon résumé peut-il être un bon titre ?

4Dans cet article, nous commençons par exposer la problématique apparue au sein de notre corpus construit via une application en ligne (section 2) : qu’est-ce-qu’un titre informatif ? un titre accrocheur ? Nous comparons ensuite les tâches de titrage et de résumé automatique selon les travaux antérieurs (section 3), puis nous proposons une typologie des titres adaptée au titrage automatique. Finalement, nous évaluons les critères proposés afin de valider leur pertinence (section 4).

2. Problématique

5Les titres ont fait l’objet de nombreuses études linguistiques et sont vus de différentes manières (Peñalver Vicea, 2003) : porte qui s’ouvre au lecteur (Ricardou, 1972), ensemble de petites unités textuelles (Frandsen, 1990), élément le plus important de la plupart des textes (Furet, 1995), etc. La définition donnée par Le Petit Larousse (2004) est mot, expression, phrase, etc., servant à désigner un écrit, une de ses parties [...], à en donner le sujet. Plusieurs groupes de mots bien formés peuvent donc convenir à un titre. Autrement dit, un texte peut avoir plusieurs titres possibles. Il peut varier en fonction de sa taille (en nombre de mots), de sa forme ou bien du sujet mis en avant. Ce sont a priori des caractéristiques communes avec le résumé.

  • 2 Le recueil de ces définitions n’était pas l’objectif premier de notre application. Il s’agissait là (...)

6Les travaux présentés dans cet article consistent à analyser finement dans quelle mesure la définition des critères de pertinence et d’accroche peuvent différer selon les utilisateurs qui sont appelés à évaluer la qualité d’un titre. Dans ce cadre, nous avons constitué un corpus de définitions de ces deux critères via une application en ligne. L’étude de ce corpus sera menée en section 42. Il nous a semblé plus intéressant de recueillir des définitions du terme titre pertinent plutôt que titre informatif afin d’éviter toute définition directement liée au concept d’information. Par exemple, la définition un titre informatif est un titre qui informe n’a aucun intérêt. Dans la suite de l’article, nous considérerons les termes titre pertinent et titre informatif comme étant synonymes. Notons qu’aucune limite de taille n’était imposée à l’utilisateur. Soit Pi (resp. Ai), la définition de pertinence (resp. d’accroche) renseignée par l’annotateur i. L’ensemble des définitions recueillies est présenté puis analysé.

7173 utilisateurs ont défini les termes titre pertinent et titre accrocheur, formant un corpus de 345 définitions (une définition à propos de l’accroche n’a pas été renseignée). Précisons qu’aucun utilisateur n’a renseigné deux fois une même définition.

8Voici un échantillon des définitions de notre corpus :

Définitions titre pertinent Pi

  • P1 : Un titre qui renseigne sur le contenu du texte.

  • P2 : Un titre qui représente exactement une synthèse du contenu de l’article ou du texte.

  • P3 : Un titre pertinent est un titre qui correspond au contenu du texte qui lui est attribué. C’est une phrase ou une partie de phrase qui permet de connaître ou de résumer le sujet du texte.

  • P4 : Un titre pertinent donne une idée du contenu de l’article.

  • P5 : Un titre qui contient le sujet du texte, explicatif et sérieux.

Définitions titre accrocheur Ai

  • A1 : Un titre qui retient l’attention, un titre dont l’on se souvient, un titre humoristique par exemple.

  • A2 : Un titre qui va attirer mon attention parce qu’il correspond à mes attentes ou mes centres d’intérêt personnels.

  • A3 : Un titre accrocheur est un titre qui retient l’attention du lecteur et lui donne envie de lire le texte qui lui est associé. C’est particulièrement important dans la presse écrite.

  • A4 : Une courte phrase avec des mots forts.

  • A5 : Une accroche pour ainsi dire, un titre qui relate un fait actuel, en disant peu mais assez pour attiser la curiosité des lecteurs.

9Dans notre contexte, une définition est dite cohérente si elle ne comporte pas de contradiction. De ce fait, dans notre corpus, une lecture rigoureuse indique que toutes les définitions sont cohérentes. De surcroît, la définition Pi est toujours cohérente avec Ai (les deux définitions décrivent clairement les caractéristiques d’un titre pertinent et celles d’un titre accrocheur).

10Alors que le titre a fait l’objet de nombreuses études, le titrage automatique est une tâche en pleine émergence. Dans la section suivante, nous verrons que d’après la littérature, les titres et résumés partagent certaines caractéristiques (être informatif, être "court"), ce qui explique une confusion entre les deux tâches d’automatisation. Il nous a donc semblé nécessaire de comparer le titre avec le résumé à partir de nos définitions (et le titrage automatique avec le résumé automatique), afin de déterminer leurs objectifs respectifs.

11Dans la suite, nous présentons les caractéristiques des résumés et des titres énoncés dans la littérature, puis nous proposons une première typologie spécifiques aux titres adaptée au titrage automatique. Enfin, nous mettons en place une méthode automatique de classification des définitions recueillies ci-avant, introduisant les problèmes liés à l’accord inter-juges sur les différents critères de notre typologie.

3. Spécificités des résumés et des titres

12Dans cette section, nous analysons les différentes fonctions attribuées au résumé et au titre, ainsi que les différents travaux liant titres et résumés. Nous proposons ensuite une typologie adaptée aux titres pour le titrage automatique, selon les critères d’information et d’accroche faisant l’objet d’une analyse en section 4.

3.1. Le résumé

13Résumer un texte, c’est le réexprimer de manière concise sans en détourner le sens d’origine. Distinguer l’essentiel du superflu est donc primordial. Un bon résumé reflète fidèlement l’importance des divers éléments du texte d’origine. (J. Minel, 2004) indique que l’on ne résume pas de la même façon un texte narratif, un article scientifique relatif à une science expérimentale, un article d’une science théorique ou d’un domaine spéculatif, des articles juridiques, etc.

14Récemment, dans son étude littéraire du résumé, (Gnaoui, 2008) attribue au résumé la fonction de séduction, et celle d’invitation à fouler le seuil de la lecture et à s’investir dans cette aventure qu’est la découverte de l’espace encore inconnu du texte ou de l’art représentatif en général. L’auteur poursuit en indiquant que tout élément figurant sur les couvertures du livre entretient une fonction de séduction. Suivant cette réflexion, l’auteur conclu que le titre en soi est une sorte de résumé puisqu’il se veut intuitif et représentatif de la matière dont il porte le nom. Le titre serait donc un dérivé du résumé, c’est-à-dire que ce premier hériterait de certaines fonctions de ce second.

3.2. Le titre en tant qu’objet textuel et sémantique

15Le titre peut être vu comme objet textuel (Ho-Dac et al., 2004), c’est-à-dire qu’il dépend de ses polices de caractères, tailles, couleurs, etc. Par exemple, (Van Dijk, 1988) indique que la première lettre de certains gros titres est mise en valeur via l’utilisation d’une police différente des autres lettres.

16Le titre permet a priori d’avoir un aperçu de l’article associé, alors considéré comme objet sémantique. Ainsi, il est doté d’un contenu sémantique qui a trois fonctions :

  1. intéresser/captiver le lecteur

  2. informer le lecteur

  3. introduire le sujet de l’article

17Sans aucun doute, la tâche la plus complexe consiste à intéresser le lecteur. La construction d’un titre est réussie à condition qu’il soit compris par le lecteur, selon sa propre culture générale, selon ses convictions, ses intérêts personnels et son style cognitif.

18D’après (Dor, 2003), les titres dans la presse écrite sont conçus pour optimiser la pertinence du sujet de l’article pour leurs lecteurs. Il est en effet admis que le titre permet d’activer instantanément les intérêts du lecteur ainsi que ses connaissances (Van Dijk, 1988). Par ailleurs, les titres fournissent aux lecteurs le ratio optimal entre l’effet contextuel et l’effort de traitement afin de permettre au lecteur de construire le contexte optimal pour l’interprétation de l’article (Sperber, Wilson, 1995).

19(Dor, 2003) présente les résultats d’une étude empirique conduite dans le service des informations d’un quotidien anglais. Il montre que pour chaque titre, il existe une discussion remettant en cause les normes de rédaction imposées dans le milieu professionnel. Le choix du titre est discuté entre les rédacteurs et les secrétaires de rédaction, selon le sujet abordé dans l’article et le type d’article. Cependant, cette discussion peut toujours être réduite à la notion d’optimisation de pertinence du titre.

20Concernant l’information transmise au lecteur, elle fait aussi l’objet d’un choix de la part de l’instance d’énonciation. Par exemple, dans (Dor, 2001), il est montré que les titres font l’objet de jeux sémantiques jouant un rôle extrêmement important sur la présentation de l’information au lecteur.

21Le titre doit introduire le sujet de l’article, c’est-à-dire qu’il permet à l’auteur d’effectuer une transition fluide entre la lecture du titre et la lecture du corps du texte. En d’autres termes, le titre doit être en relation avec le texte traité.

22Finalement, sont soulevées deux questions classiques du domaine de la génération automatique de texte : Quoi dire ? et Comment le dire ?

3.3. Les tâches de titrage et de résumé automatique

23Lorsque l’on étudie la problématique du titrage automatique, la première difficulté consiste à définir clairement le concept de titre. En effet, selon les contextes (Web, articles scientifiques, e-mails, messages de forum, articles journalistiques, romans, etc.), il semble que le titre doive mettre en avant certaines caractéristiques au détriment d’autres, permettant par la même occasion de se différencier avec le résumé. Un titre peut être informatif et/ou accrocheur, plus ou moins court, sous forme de termes-clés contigus (par exemple dans le cas des titres d’e-mails) ou d’un syntagme syntaxiquement correct. Ainsi, selon que l’on veuille mettre en avant l’une ou l’autre de ces caractéristiques, de nombreuses tâches de titrage automatique apparaissent, chacune d’entre elles spécifiques à une problématique très précise.

24Certains auteurs (par exemple (Soricut, Marcu, 2006)) considèrent qu’un titre pertinent peut être obtenu en résumant fortement un texte. Selon cette idée, (Banko et al., 2000) présente une approche de génération de résumés courts (quelques mots) pour les articles journalistiques, utilisant des méthodes statistiques. Ces résumés sont considérés comme des titres, bien que ceux-ci soient souvent syntaxiquement incorrects (dû à la difficulté à ajuster automatiquement le paramètre de taille du titre/résumé).

25Au contraire, des titres syntaxiquement corrects sont proposés par la méthode de (Dorr et al., 2003), consistant à ne conserver que les groupes de mots jugés pertinents présents dans la première phrase des articles journalistiques anglais. Il s’agit prioritairement d’un travail d’élagage permettant de réduire la phrase dans le but de concentrer l’information en quelques mots, au détriment de l’accroche.

26De manière générale, le titrage automatique est assimilé aux tâches d’indexation ou de résumé automatique. Les "titres" obtenus sont certes intéressants d’un point de vue extraction de l’information principale, mais peuvent aisément être différenciés des titres réels, c’est-à-dire ceux proposés par un humain. Alors que les travaux précédents se sont largement intéressés à la question "Comment extraire l’information pertinente ?", il faut donc aussi s’intéresser aux questions "Quelles caractéristiques un titre doit-il respecter ?" et dans une moindre mesure "Comment présenter l’information ?".

27Par exemple, (Moirand, 1975) remarquait déjà que dans les articles journalistiques, de nombreux titres se présentent sous forme de syntagmes nominalisés, une constatation confirmée plus récemment par (Herrero Cecilia, 2007). Il s’agit donc d’une caractéristique à ne pas négliger.

28Le processus de résumé peut faire appel au titre, par exemple dans (J.-L. Minel et al., 2001) et (Pessiot et al., 2008) où les titres sont utilisés pour la construction de résumés, démontrant ainsi leur importance. Les résumés automatiques fournissent un ensemble de données pertinentes extraites du texte, mais toujours sous forme de phrase(s). Or, un titre n’est que très rarement une phrase. Nous nous retrouvons à nouveau dans le cas du non-respect des caractéristiques propres aux titres. À noter qu’il faut aussi distinguer le titrage automatique de la compression de texte classique (par exemple (Yousfi-Monod, Prince, 2006)) puisqu’un titre peut utiliser des reformulations du contenu du texte.

29Précisons que le titre doit être différencié de l’index car ce premier ne contient pas toujours les termes clés du texte. Effectivement, le titre peut présenter une reformulation partielle ou totale du texte par le biais d’utilisation de métaphores, jeux de mots, etc., ce qui n’est pas envisageable pour un index puisque son rôle est de permettre une recherche facilitée pour l’utilisateur. Par exemple, À Montpellier, Ségolène fait un retour royal, Midi Libre n°3332. Encore une fois, la construction d’index peut utiliser des titres présents dans le document. Ainsi, si nous parvenons à déterminer des titres pertinents, la qualité de l’index sera grandement améliorée.

30Cette présentation non exhaustive des travaux réalisés dans le domaine laisse percevoir un réel malaise. Certaines fois des titres sont utilisés dans les résumés alors que d’autres fois on résume pour obtenir des titres. Il s’agit de définir dans la suite de notre travail différents critères attribuables aux titres permettant de discerner clairement ces deux tâches.

3.4. Typologie des titres

31(Charaudeau, 1997) affirme que le titre fait l’objet de régularités textuelles sous le contrôle d’une instance d’énonciation. Par exemple, concernant les articles journalistiques, alors que l’hebdomadaire Le Canard Enchaîné publie régulièrement des titres à caractère accrocheur dominant, les dépêches de l’AFP (Agence France-Presse) se voient attribuées des titres généralement informatifs, ciblant ainsi un public différent.

32En tant qu’auteur, il est absolument trivial de générer un titre purement informatif. En effet, un quelconque groupe de mots (syntaxiquement correct ou non) est porteur d’information, même s’il n’est pas cohérent avec le sujet traité dans le texte. Par exemple, Hadopi : les premiers dossiers ont été transmis à la justice peut être considéré comme informatif, même si le sujet principal du texte traite de l’agriculture. De la même façon, il est absolument trivial de générer un titre purement accrocheur. Par exemple, Sarkozy abandonne ! est un titre accrocheur, bien que le lecteur soit déçu si l’article traite d’un abandon concernant une affaire de faible importance et dont Sarkozy n’est que très brièvement impliqué.

33Alors que le résumé doit prioritairement être informatif, une réelle difficulté du titrage consiste à générer des titres à la fois informatifs et accrocheurs, avec la condition qu’ils soient cohérents avec le sujet principal traité dans le texte. L’instance d’énonciation doit ainsi faire un choix crucial entre trois types de titres qui doivent toujours être cohérents avec le contenu du texte traité (cf. Fig. 1) :

  • Type 1 : le titre est très informatif et peu accrocheur.

  • Type 2 : le titre est informatif et accrocheur.

  • Type 3 : le titre est peu informatif et très accrocheur.

Figure 1. Degrés de pertinence et d’accroche caractérisant trois types de titre.

34Nos travaux antérieurs ont consisté à présenter trois méthodes distinctes afin de couvrir l’ensemble des types définis ci-avant. Afin de déterminer des titres du type 1, la méthode POSTIT (Lopez et al., 2011b) consiste à extraire le syntagme nominal le plus informatif du texte, selon un score statistique fondé sur le TF-IDF (Salton, Buckley, 1988) et tenant compte de la position du syntagme dans le texte. La méthode NOMIT (Lopez et al., 2012) s’appuie sur la reformulation de syntagme par nominalisation et permet ainsi de proposer des titres du deuxième type. Enfin, la méthode CATIT (Lopez et al., 2011a) construit des titres courts dans le but de répondre aux critères du type 3. Même si ces méthodes ne font pas l’objet de cet article, il nous a semblé important de les mentionner ici, celles-ci prenant en compte deux critères (information et accroche) qui sont analysés dans la suite de l’article.

4. Évaluation des critères

35Dans cette section, nous utilisons des méthodes de classification automatique appliquées à notre corpus de définitions afin de mettre en avant les différentes spécificités des critères de pertinence et d’accroche.

4.1. Méthode automatique de classification

  • 3 Un appel à participation a été diffusé sur au moins trois listes de diffusion.

36Compte tenu du grand nombre d’annotateurs ayant fait don de leurs définitions3, le problème classique (mais crucial) de la cohérence inter-annotateurs devait être posé. Effectivement, a priori, rien n’indique que l’ensemble des annotateurs soit d’accord sur leurs définitions. Dans le but de mesurer le taux d’accord/désaccord sur les critères fournis dans les définitions et d’évaluer la complexité de la tâche d’évaluation, nous mettons en place un processus automatique fondé sur un apprentissage supervisé.

37L’apprentissage supervisé est une technique d’apprentissage permettant de produire automatiquement des règles de classification à partir d’un corpus. L’application de ces règles sur un nouveau corpus permet ainsi de mettre en évidence la complexité de classification des diverses composantes du corpus. De façon pragmatique, l’intérêt est ici d’établir automatiquement un ensemble de règles permettant de déterminer si une définition doit être classée dans la catégorie titre informatif ou dans celle de titre accrocheur, puis de mesurer le taux d’erreur lors de l’application de ces règles. Si aucune erreur n’est constatée, l’accord sur les critères constituant les définitions peut être considéré comme étant fort. Au contraire, si le système commet de nombreuses erreurs, l’accord peut être considéré comme étant faible.

38Notre processus global de classification se compose de cinq étapes :

  1. Prétraitement. L’ensemble des définitions de pertinence et d’accroche est étiqueté avec l’analyseur morphosyntaxique Sygfran (Chauché, 1984). Tous les mots outils (déterminants, prépositions, articles, etc.) sont ignorés, ceux-ci ne constituant pas des critères de pertinence ou d’accroche. Le reste des mots constitue un index (791 mots).

  2. Vectorisation. Selon le modèle vectoriel de Salton (Salton et al., 1975), pour chaque définition, un vecteur est créé. Chaque coordonnée est associée à un mot de l’index, constituée du nombre d’occurrences du mot dans la définition traitée.

  3. Constitution de la base d’apprentissage. Notre corpus d’apprentissage est constitué de 345 définitions sous forme vectorielle. À chaque vecteur est attribuée l’étiquette "définition de la pertinence" ou "définition de l’accroche", ceci correspondant à chaque classe.

  4. Validation. La validation est une phase indispensable à tout processus d’apprentissage, consistant à vérifier que le modèle construit à partir de la base d’apprentissage permet de classer toutes les définitions avec un minimum d’erreurs. Nous avons choisi d’utiliser la validation croisée (Mitchell, 1997), dans laquelle n différents classificateurs α1, …, αn sont construits par le partitionnement initial du corpus en n ensembles disjoints ρ1, …, ρn. Une validation par test est ensuite appliquée à l’ensemble des n couples possibles (Ω - ρn, ρn) avec l’ensemble des ρn. L’efficacité finale est obtenue par le calcul individuel de l’efficacité de α1, …, αn. Dans notre cas, n est fixé à 10.

  5. Classification. Quel que soit l’algorithme de classification supervisé utilisé, les résultats obtenus sont du même ordre. Nous présentons ici la matrice de contingence obtenue en utilisant Naïve Bayes (cf. Tab. 1), qui suppose que l’existence d’une caractéristique pour une classe est indépendante de l’existence d’autres caractéristiques.

39Les résultats issus de ce processus sont analysés dans la section suivante.

4.2. Analyse des résultats

40D’après la matrice de contingence obtenue via le processus présenté dans la section précédente,

  • (1) Sur les 173 définitions de pertinence, 157 seront estimées comme telles et 16 seront estimées comme des définitions d’accroche.

  • (2) Sur les 172 définitions d’accroche, 43 seront estimées comme étant des définitions de pertinence, et 129 seront estimées comme définition d’accroche.

  • (3) Sur les 198 définitions que le système a estimé comme étant des définitions de pertinence, 43 sont en fait des définitions d’accroche.

  • (4) Sur les 145 définitions que le système a estimé comme des définitions d’accroche, 16 sont en fait des définitions de pertinence.

41Ainsi, d’après (1), le système commet peu d’erreurs de classification en ce qui concerne les définitions de pertinence (91% des définitions de pertinence seront classées correctement, seulement 9% sont mal classées). Par contre, d’après (2), le système est moins efficace sur le classification des définitions d’accroche (75% des définitions d’accroche sont classées correctement, 25% sont mal classées). Ces résultats mettent en avant la grande disparité des définitions d’accroche. D’après (3), le système commet 22% d’erreur concernant les définitions de pertinence. D’après (4), le système commet 11% d’erreur concernant les définitions d’accroche. Ceci confirme la difficulté globale de classification de ces définitions.

42Arbre de décision. Afin de repérer les mots discriminants lors de la classification des définitions, l’algorithme J48 de la boîte à outils Weka (Witten, Frank, 2005) a été utilisé (cf. Fig. 2). J48, algorithme de classification supervisé, est une mise en œuvre de l’algorithme C4.5 (Quinlan, 1993), lui-même fondé sur l’algorithme ID3 auquel il apporte plusieurs améliorations. À partir d’un échantillon d’apprentissage issu de notre corpus, il produit un modèle de type arbre de décision. L’arbre obtenu indique que, concernant la pertinence, les termes discriminants sont sujet, article, document résume, texte. Concernant l’accroche, les termes discriminants sont curiosité, accroche, attire, envie.

Classe estimée

Classe réelle

Pertinent

Accrocheur

Pertinent

157

16

Accrocheur

43

129

Table 1. Matrice de contingence.

43Cette première analyse du corpus de définitions, par classification automatique supervisée, permet à la fois de mettre en avant la difficulté d’une telle classification, notamment à propos de l’accroche, et de donner un premier aperçu des termes discriminants qui peuvent être considérés comme des premiers critères de pertinence et d’accroche pour les titres.

44Dans la suite de l’étude, à partir des mêmes données, nous nous focalisons sur l’extraction de critères menant à la constitution de définitions populaires ainsi qu’à l’accord inter-juge dont la classification laisse déjà entrevoir un accord plus fort à propos des définitions de pertinence que d’accroche.

Figure 2. Arbre de décision obtenu avec J48

4.3. Accord sur les définitions

45L’objectif de cette section est double. Tout d’abord, il s’agit d’extraire les descripteurs permettant de différencier un titre pertinent d’un titre accrocheur. Parallèlement, il s’agit de déterminer si les évaluateurs sont d’accord entre eux à propos de leurs définitions, ou bien si les avis divergent. Afin d’analyser cet accord, une solution consiste à simuler une séance de concordance entre les annotateurs pour estimer leur taux d’accord sur les définitions. Cette simulation est réalisée par extraction automatique de n-grammes de mots (Jalam, Chauchat, 2002) avec 1 ≤ n ≤ 3 (dans le cas n = 1, les mots outils ne sont pas retenus).

4.3.1. Titre pertinent

46Dans le cas de n = 1, nous avons extrait les mots titre (165 occurrences), texte (84 occurrences), contenu (69 occurrences), qui ne constituent pas des caractéristiques d’un titre, bien qu’un accord sur l’emploi du mot contenu [de l’article] soit déjà constatable.

47Parmi les mots les plus intéressants, résume, synthétise (et leurs déclinaisons) sont employés par 41 annotateurs. De même, l’utilisation des mots rapport (12 occurrences), idée (10 occurrences), renseigne (7 occurrences), contexte (4 occurrences) convergent vers l’idée commune qu’un titre pertinent est en rapport (ou donne une idée) avec le contenu du texte.

48Pour n = 2, qui résume ou qui synthétise (27 occurrences), qui correspond (12 occurrences), information principale (4 occurrences) sont les bigrammes les plus employés.

49Pour n = 3, nous remarquons la prédominance des trigrammes titre qui résume ou titre qui synthétise (29 occurrences), contenu du document ou contenu du texte, sujet du texte, idée du sujet (45 occurrences).

50Finalement, pour 1 ≤ n ≤ 3, nous notons que les n-grammes décrivant une caractéristique de titre pertinent sont très souvent partagés, au mot près. La méthode d’extraction de n-grammes ne prend évidemment pas en compte les différentes façons d’exprimer une même idée, ces chiffres indiquent donc le nombre minimum de caractéristiques partagés. Parmi les n-grammes employés une unique fois, aucun ne décrit une caractéristique potentielle d’un titre. Selon ces résultats, nous pouvons estimer que les annotateurs ont évalué la pertinence des titres selon un très faible nombre de critères, indiquant un très bon accord.

4.3.2. Titre accrocheur

51Concernant les définitions de titre accrocheur, dans le cas de n = 1, les mots les plus fréquents sont encore une fois peu intéressants. Nous obtenons par exemple titre(s), texte, mots, etc. De fréquence moindre, des mots plus intéressants sont extraits : envie (72 occurrences), attention (19 occurrences), curiosité (18 occurrences), jeu(x) (17 occurrences), humour (11 occurrences), etc. Parmi les mots partagés une seule fois, nous retenons par exemple provocation, sentiment, sensation, choquant, émotion, séduction, captivant, calembour, impressionnant, inattendu, etc.

52Dans le cas de n = 2, le bigramme donne envie apparaît 67 fois. Hormis ce dernier, titre humoristique, mots forts et titre court sont les bigrammes les plus utilisés, mais seulement partagés par au maximum quatre annotateurs. De nombreux bigrammes caractérisant un titre apparaissent une seule fois : sémantiquement riche, rapport lexical, titre provocant, qui souligne, humour subtil, termes chargés, peu informatif, côté insolite, mots laids, phrase nominale, titre imaginatif, termes ronflant, titre évocateur, etc.

53Il est intéressant de noter que seulement quatre évaluateurs ont employé le bigramme titre pertinent, qui plus est à titre de comparaison avec le bigramme titre accrocheur. Cela confirme donc qu’il n’y a pas de confusion chez l’évaluateur à propos des deux termes à définir. L’extraction avec n = 3 confirme les résultats obtenus pour n = 1 et n = 2.

54Hormis les trigrammes qui donne envie [de lire] (partagé 66 fois), jeu(x) de mots (17 fois), et retient/attire l’attention (15 fois), tous les trigrammes pouvant caractériser un titre sont utilisés une seule fois.

55Malgré un accord incontestable sur le fait qu’un titre accrocheur doit donner envie de lire le texte associé, le nombre important de n-grammes (caractérisant un titre accrocheur) non partagés entre les annotateurs indique un faible accord sur ces définitions pouvant donc être considérés comme étant subjectives.

56Notons que la différence de l’accord/désaccord constatée sur les définitions de pertinence et accroche est confirmée dans le cadre de l’évaluation des titres à proprement dite, par le calcul du coefficient Kappa (Cohen et al., 1960) qui indique un taux d’accord moyen sur les jugements effectués (Landis, Koch, 1977).

5.Conclusion

57Dans cet article, nous avons mis en place un ensemble de critères associés au titre (pour lequel nous avons défini trois différents types) et au résumé. Nous avons émis l’hypothèse que les critères de pertinence (caractère informatif du titre) et d’accroche étaient spécifiques aux titres, mais les définitions issues de notre corpus montrent finalement que le critère de pertinence n’est constitué que de quelques rares caractéristiques, toutes partagées par les utilisateurs. Au contraire, l’accroche admet de nombreuses caractéristiques, non toutes partagées par les utilisateurs, démontrant un désaccord et désignant donc la difficulté à automatiser un système de génération de titres accrocheurs. Par ailleurs, nous avons mis en évidence la complexité concernant l’évaluation des systèmes de titrage automatique.

58À propos des définitions de pertinence des titres, nous avons constaté la prédominance des termes titre qui résume, titre qui synthétise, idée du sujet, induisant une relation incontestable avec le domaine du résumé. Au contraire, les définitions d’accroche ayant comme caractéristiques de donner envie de lire, d’attirer l’attention du lecteur, apparaissent indépendantes quant au domaine du résumé.

59Les résultats mènent donc vers les conclusions suivantes :

  1. Le titre peut être considéré comme étant un résumé du texte dans le cas où l’on ne s’intéresse qu’à refléter fidèlement le sujet principal du texte. On parlera alors de titre à dominance informative. Encore faut-il être capable de résumer le texte en seulement quelques mots de manière pertinente. Cela exclut que l’on considère qu’un résumé doit donner un aperçu global du contenu du texte.

  2. Le titre ne peut pas être considéré comme étant un résumé du texte dans le cas où l’on souhaite donner un point de vue subjectif du texte ou utiliser une accroche, une incitation à la lecture, ou une accroche visuelle (par exemple de la forme "pré-zone: sujet + complément" pour les articles journalistiques (Ulland, 2002)). On parlera dans ce cas de titre incitateur, excluant les effets liés aux intérêts personnels du lecteur.

60Concernant l’évaluation des titres, la prise en compte des critères définis dans cet article impliquent de nouvelles perspectives. En effet, que les mesures d’évaluation traditionnelles pour les résumés (la Couverture, Responsiveness, Pyramids, Rouge, Fresa) (Torres-Moreno et al., 2010) soient intrinsèque ou extrinsèque (Jones, Galliers, 1995), celles-ci ne prennent pas en compte le critère d’accroche porté par les titres. Par exemple, la mesure ROUGE (adoptée par les conférences Document Understanding Conferences) consiste à évaluer la qualité d’un résumé par comparaison aux résumés servant de modèles en comptant le nombre d’unité de recouvrement.

61Si cette mesure était appliquée aux titres présentant une reformulation ou tournure humoristique, ceux-ci n’obtiendraient donc pas un bon score bien qu’ils soient absolument pertinents. De futures recherches devront donc être menées sur les procédures d’évaluation automatique des titres, tenant compte à la fois des critères d’information et d’accroche.

62Finalement, nous avons vu que le titre est une entité à part entière possédant ses propres fonctions. Les résultats sont en accord avec la proposition de (Gnaoui, 2008) indiquant que le titre est une sorte de résumé. Ajoutons qu’il se différencie selon les objectifs escomptés (titres à dominance informative ou incitative). Espérons que les futures études portant sur le titrage automatique tiendront compte de ces quelques réflexions afin de différencier plus singulièrement les techniques propres au résumé automatique de celles du titrage automatique.

Haut de page

Bibliographie

Banko M., Mittal V. O., Witbrock M. J. (2000). Headline generation based on statistical translation. In Proceedings of the 38th annual meeting on association for computational linguistics, pp. 318–325.

Charaudeau P. (1997). Le discours d’information médiatique: la construction du miroir social. Nathan & Company.

Chauché J. (1984). Un outil multidimensionnel de l’analyse du discours. In 22nd annual meeting on association for computational linguistics, pp. 11–15.

Cohen J. et al. (1960). A coefficient of agreement for nominal scales. Educational and psychological measurement, Vol. 20, No. 1, pp. 37–46.

Dor D. (2001). Newspapers under the influence. Tel-Aviv: Babel.

Dor D. (2003). On newspaper headlines as relevance optimizers. Journal of Pragmatics, Vol. 35, No. 5, pp. 695–721.

Dorr B., Zajic D., Schwartz R. (2003). Hedge trimmer: A parse-and-trim approach to headline

generation. In Proceedings of the hlt-naacl 03 on text summarization workshop-volume 5, pp. 1–8.

Gnaoui Y. (2008). Le résumé de texte. les atouts et les attentes. Journal of King Saud University, Vol. 2.

Herrero Cecilia J. (2007). Syntaxe, sémantique et pragmatique des titres des nouvelles de la presse française construits en forme de phrase nominale ou averbale: aspects cognitifs et communicatifs. In Littérature, langages et arts: rencontres et création, p. 97.

Ho-Dac L.-M., Jacques M.-P., Rebeyrolle J. (2004). Sur la fonction discursive des titres. S. Porhiel and D. Klingler (Eds). L’unité texte, Pleyben, Perspectives., pp. 125-152.

Jalam R., Chauchat J. (2002). Pourquoi les n-grammes permettent de classer des textes ? recherche de mots-clefs pertinents à l’aide des n-grammes caractéristiques. JADT2002 : 6es Journées internationales d’Analyse statistique des Données Textuelles, pp. 381–390.

Jones K., Galliers J. (1995). Evaluating natural language processing systems: An analysis and review (Vol. 1083). Springer Verlag.

Landis J., Koch G. (1977). The measurement of observer agreement for categorical data. Biometrics, Vol. 33, No. 1, pp. 159-74.

Lopez C., Prince V., Roche M. (2011a). Automatic generation of short titles. In Proceedings of LTC’11: 5th Language and Technology Conference, p. 461-465.

Lopez C., Prince V., Roche M. (2011b). Automatic titling of articles using position and statistical information. In Proceedings of RANLP’11: Recent advances in natural language processing, p. 727-732. Hissar, Bulgarie.

Lopez C., Prince V., Roche M. (2012). Nomit: Automatic titling by nominalizing. In Proceedings of NAACL’12, p 274-283. Montréal, Canada.

Luhn H. (1958). The automatic creation of literature abstracts. IBM Journal of research and

development, Vol. 2, No. 2, pp. 159–165.

Minel J. (2004). Le résumé automatique de textes: solutions et perspectives. Traitement automatique des langues, Vol. 45, No. 1.

Minel J.-L., Desclés J.-P., Cartier E., Crispino G., Ben Hazez S., Jackiewicz A. (2001). Résumé automatique par filtrage sémantique d’informations dans des textes. Revue Techniques et Sciences Informatiques.

Mitchell T. (1997). Machine learning. 1997. Burr Ridge, IL: McGraw Hill.

Moirand S. (1975). Le rôle anaphorique de la nominalisation dans la presse écrite. Langue

française, Vol. 28, No. 1, pp. 60–78.

Peñalver Vicea M. (2003). Le titre est-il un désignateur rigide ? Dialnet, Vol. 2, pp. 251-258.

Pessiot J., Kim Y., Amini M., Usunier N., Gallinari P. (2008). Une méthode contextuelle d’extension de requête avec des groupements de mots pour le résumé automatique. Proceedings of the 5th Conférence en Recherche d’Information et Applications.

Quinlan J. (1993). C4. 5: programs for machine learning. Morgan kaufmann.

Salton G., Buckley C. (1988). Term-weighting approaches in automatic text retrieval. Information Processing and Management 24, pp. 513 à 523.

Salton G., Wong A., Yang C. (1975). A vector space model for automatic indexing. Communications of the ACM, Vol. 18, No. 11, pp. 613–620.

Soricut R., Marcu D. (2006). Stochastic language generation using widl-expressions and its application in machine translation and summarization. In Proceedings of the 21st international conference on computational linguistics and the 44th annual meeting of the association for computational linguistics, pp. 1105–1112.

Sperber D., Wilson D. (1995). Relevance: Communication and cognition. Wiley-Blackwell.

Torres-Moreno J., Saggion H., Cunha I. da, Velázquez-Morales P., SanJuan E. (2010). Évaluation automatique de résumés avec et sans références. TALN’2010, pp. 10p.

Ulland H. (2002). Les titres rédactionnels phrastiques et leur analyse automatique en prédicat et arguments. In Romansk forum, Vol. 16.

Van Dijk T. (1988). How "they" hit the headlines. Discourse and discrimination, pp. 221–262. Van Dijk T., studies U. of Amsterdam. Department of general literary studies. Section of discourse. (1988). News as discourse. L. Erlbaum Associates.

Witten I., Frank E. (2005). Data mining: Practical machine learning tools and techniques. Morgan Kaufmann.

Yousfi-Monod M., Prince V. (2006). Compression de phrases par élagage d’ arbre morphosyntaxique. TSI : Technique et Science Informatiques 25, 4, pp. 447-456.

Haut de page

Notes

1 Traitement Automatique de la Langue

2 Le recueil de ces définitions n’était pas l’objectif premier de notre application. Il s’agissait là d’une première étape avant d’évaluer des méthodes automatiques de titrage.

3 Un appel à participation a été diffusé sur au moins trois listes de diffusion.

Haut de page

Table des illustrations

Légende Figure 1. Degrés de pertinence et d’accroche caractérisant trois types de titre.
URL http://journals.openedition.org/corela/docannexe/image/2892/img-1.png
Fichier image/png, 13k
Légende Figure 2. Arbre de décision obtenu avec J48
URL http://journals.openedition.org/corela/docannexe/image/2892/img-2.png
Fichier image/png, 19k
Haut de page

Pour citer cet article

Référence électronique

Cédric Lopez, Violaine Prince et Mathieu Roche, « Le résumé et le titrage automatique partagent-ils les mêmes objectifs ? »Corela [En ligne], 11-1 | 2013, mis en ligne le 17 février 2014, consulté le 28 mars 2024. URL : http://journals.openedition.org/corela/2892 ; DOI : https://doi.org/10.4000/corela.2892

Haut de page

Auteurs

Cédric Lopez

VISEO - Object Direct

Violaine Prince

LIRMM, CNRS, Université de Montpellier 2, France

Mathieu Roche

LIRMM, CNRS, Université de Montpellier 2, France

Haut de page

Droits d’auteur

CC-BY-NC-SA-4.0

Le texte seul est utilisable sous licence CC BY-NC-SA 4.0. Les autres éléments (illustrations, fichiers annexes importés) sont « Tous droits réservés », sauf mention contraire.

Haut de page
Rechercher dans OpenEdition Search

Vous allez être redirigé vers OpenEdition Search