Skip to navigation – Site map

HomeCross-sectionsTopics2010The scientific journals in the So...JournalBase. Comparer les bases d...

2010
The scientific journals in the Social Sciences and the Humanities

JournalBase. Comparer les bases de données scientifiques internationales en sciences humaines et sociales (SHS)

JournalBase - A Comparative International Study of Scientific Journal Databases in the Social Sciences and the Humanities (SSH)
Michèle Dassa, Christine Kosmopoulos and Denise Pumain
This article is a translation of:
JournalBase - A Comparative International Study of Scientific Journal Databases in the Social Sciences and the Humanities (SSH)

Abstracts

Presented for the first time, a comparative table of the contents of the databases that list the journals in the Social Sciences and the Humanities (SSH) named JournalBase has been published, in June 2009, in Cybergeo. The study covers the AHCI and the SSCI of the Web of Science (published by Thomson Reuters) and Scopus (published by Elsevier), as well as the European Reference Index for Humanities (ERIH) (published by the European Science Foundation) and the lists of the French Agence pour l’Evaluation de la Recherche et de l’Enseignement Supérieur (AERES). The research was carried out in 2008 with the financial support of the TGE Adonis of the CNRS. With some 20,000 entries, corresponding to 10,000 different journals, this is an almost exhaustive overview of the wealth of publications in the Social Sciences and the Humanities, at last made available in this table, adopting the same nomenclature for classifying the journals according to their disciplines as the one used in 27 headlines of the European Science Foundation. The multiple assignments reveal the multidisciplinarity of the journals, which is quite frequent in SSH, but also sometimes the inconsistency of databases that have not been corrected.
The article presents the history of the project, the methodology established by the authors, the difficulties encountered in comparing the data. The first results reveal a broader coverage of the ERIH list for the human sciences and an over-representation of the Anglophone journals in the commercial databases throughout the disciplines. The objective of this work is to provide information about the contents of these databases, at a time when bibliometric tools are raising much discussion about their application in the field of the Social Sciences and the Humanities (SSH).

Keywords: bibliometrics, social sciences, humanities, science assessment

Top of page

Editor's notes

Cet article est la traduction française de l’article en anglais publié dans cette même revue sous le titre JournalBase - A Comparative International Study of Scientific Journal Databases in the Social Sciences and the Humanities (SSH).

Full text

Nous remercions Marc Guichard (CNRS-INIST) pour son intervention auprès de Thomson Reuters qui nous a permis d’obtenir les index en fichiers excel, Elsevier qui met à disposition sur son site l’index général de Scopus en fichier excel, Sonia Christon (documentaliste, stagiaire INTD) et Gilles Liévin (informaticien) pour leur collaboration

Introduction

1En 1964, Eugène Garfield, fondateur de l’Institut for Scientific Information à Philadelphie (ISI), créait la célèbre base de données Science Citation Index (SCI). Cet instrument, au départ strictement destiné à l’analyse et à l’information documentaires des articles scientifiques des sciences de la matière et de la vie (SMV), a progressivement évolué vers la bibliométrie. Dans les années 2000, E. Garfield vend ISI à l’éditeur canadien Thomson, qui rachète à son tour en 2008 Reuters et devient le groupe Thomson Reuters. Toutes les bases de données de l’ISI sont regroupées par Thomson Reuters dans l’ISI Web of Knowledge dans lequel est intégré le Web of Science (WOS). Outre le SCI, le WOS comprend deux autres bases de citations sur les revues : le Arts and Humanities Citation Index (AHCI) et le Social Sciences Citation Index (SSCI).

2Si le SCI est un instrument bibliométrique très répandu dans les Sciences de la matière et de la vie (SMV) et quasi-incontournable en médecine où les chercheurs se doivent pour être cités de publier dans les revues recensées par le SCI, cette pratique est en revanche peu fréquente dans les sciences humaines et sociales, notamment parce que les AHCI et SSCI s’avèrent très incomplets. Conscient de cette situation et de ses enjeux, un autre éditeur commercial (Elsevier) s’est lancé dans le développement d’une base de données de citations Scopus censée avoir une couverture plus large. A côté de ces éditeurs privés, des listes internationales ou nationales de revues de référence ont fait leur apparition, en 2007 les listes ERIH de la Fondation Européenne pour la Science et en 2008 les listes de l’AERES (Agence pour l’évaluation de la Recherche et de l’Enseignement Supérieur en France). Afin d’étudier la représentativité des différentes bases actuellement disponibles pour les revues de SHS, nous avons entrepris en 2008, avec le soutien du TGE Adonis, la création de JournalBase dont l’objectif est de recenser les revues indexées dans les listes et bases de données bibliométriques internationales et de les comparer. De nombreux articles ont déjà tenté des comparaisons entre le WOS et Scopus (par exemple, Gavel Ylva. Iselid Lars, 2008 ; Bosman Jeroen. Et al, 2006) mais aucune étude n’a encore analysé l’ensemble des données disponibles pour tout le champ des SHS.

La question bibliométrique en SHS

  • 1 Pritchard A., 1969, “Statistical Bibliography or Bibliometrics”.

3Par bibliométrie, on entend l’application des mathématiques et des méthodes statistiques aux livres, articles et autres moyens de communication1. Il s’agit de mesurer la qualité du travail des chercheurs et le rayonnement des revues dans lesquelles ils publient, en s’appuyant sur des indicateurs chiffrés produits à partir des bases de données de citations.

4La pression des institutions associée à la mise en ligne des revues a accéléré le développement de ces outils bibliométriques et a donné lieu depuis 2004 à la mise au point de toute une série d’indicateurs. Il existe désormais plusieurs bases de données en ligne qui calculent l’impact d’une revue, d’un article ou d’un chercheur par l’intermédiaire de différents indices fondés sur le nombre de publications et de citations (facteur d’impact, h-index, g-index, hm-index etc…). Les indicateurs issus de ces bases contribueraient à la prise de décision lors de l’évaluation scientifique, à côté de l’évaluation par les pairs. En effet, certaines institutions académiques ont commencé à utiliser la bibliométrie pour le classement ou le recrutement des chercheurs.

5La question de l’application de ce modèle se pose de façon récurrente en sciences humaines et sociales (SHS) depuis quelques années et cela dans l’ensemble de la communauté internationale. Une tentative d’application a eu lieu, au CNRS en France, pour les rapports quadriennaux 2006-2009 où il était demandé d’entrer un certain nombre d’indicateurs pour chaque chercheur et enseignant-chercheur de l’unité de recherche à partir des bases de données du Web of Science (WOS) ou le cas échéant de Publish or Perish (PoP – un logiciel libre d’analyse des citations de Google Scholar mis au point par Will Ann Harzing depuis 2007). En effet, si l’on regarde de plus près, contrairement aux SMV, le WOS avec ses deux bases de citations propres aux SHS (Social Sciences Citation Index (SSCI) et Arts and Humanities Citation Index (AHCI)) offre une couverture très incomplète des revues dans ces disciplines ; ce déficit est particulièrement évident pour les revues non anglophones.

  • 2 Rapport GFII/TGE-Adonis sur l’édition scientifique française en Sciences Humaines et Sociales.

6Par ailleurs, des études2 ont souligné les spécificités des modes de diffusion des connaissances en SHS, les livres pouvant couvrir 50 % de la production scientifique de certains laboratoires et certaines disciplines. La diversité des méthodes de recherche et des objets d’étude, leur inséparabilité du contexte social et linguistique dans lequel est produite la recherche, ne permettent pas une comparabilité internationale facile et objective de l’audience des publications. L’application des outils bibliométriques telle qu’elle se pratique en sciences dures, à partir des revues seules, ne donne qu’une représentation très lacunaire de la production scientifique en SHS et par conséquent produit des résultats erronés sur les nombres de publications et de citations. C’est sans doute pourquoi le CNRS a suggéré le recours à l’outil bibliométrique PoP, qui recense à partir de Google Scholar (GS) une plus grande diversité de publications (revues et ouvrages). Mais cet outil présente encore des inconvénients majeurs, en particulier du fait de l’opacité de ses sources (il n’y a pas de liste des revues ou des éditeurs recensés par GS) et du caractère aléatoire des résultats qui entrent dans le calcul des indices.

  • 3 Véronique Ginouvès (anthropologie), Blandine Nouvel (archéologie), Mireille Gely et Martine Chazela (...)

7Conscient de ces problèmes et soucieux d’apporter des données concrètes au débat, nous avons tenté une première fois en 2007, avec un groupe d’une dizaine de professionnels de l’information scientifique3 en France, de recenser manuellement les revues des bases de données du WOS (AHCI et SSCI) et de Scopus, chacun pour sa discipline respective. Les premiers résultats (pour 8 disciplines, entrées dans des fichiers excel) ont fait apparaître de nombreuses difficultés, notamment une lecture différente des sources et des lacunes, qui traduisaient en fait la difficulté de recueillir une information rigoureuse à partir des bases du WOS et de Scopus en s’en tenant aux classifications proposées par ces deux éditeurs. Même en poussant très loin la recherche, voire titre par titre (ce qui ne peut pas être réalisé sur plusieurs milliers de titres), on ne parvenait pas à obtenir une liste exhaustive des revues recensées par discipline. Cela tenait à plusieurs problèmes :

  • les revues pouvaient être répertoriées dans plusieurs bases d’un même éditeur (AHCI et SSCI), soit volontairement, soit par erreur,

  • une même base comportait des doublons, selon l’ISSN ou le titre, avec un ISSN différent ou avec le même,

  • les catégories disciplinaires ou mots clés associés aux revues ne correspondaient pas à la discipline de la revue,

  • la méthode suivie n’était que partiellement systématique et s’appuyait sur une part de subjectivité difficile à éviter du fait de l’hétérogénéité de l’indexation

8Les résultats étaient par conséquent difficiles à exploiter et ne pouvaient pas être exhaustifs. Cette expérience a permis toutefois de mettre en évidence les incohérences des sources en démontrant que la démarche empirique et individuelle par « discipline » n’était pas la bonne méthode. Elle aurait pu l’être si les bases étaient bien indexées, s’il y avait un véritable consensus sur les catégories disciplinaires entre les différents éditeurs scientifiques, si l’information apportée avait été saisie de la même manière, si tous les ISSN étaient indiqués et au même format etc.

9Finalement, pour évaluer ces outils bibliométriques, il était indispensable de faire un recensement exhaustif de leur contenu et ce recensement nécessitait la mise en place d’une méthodologie adaptée et systématique, qui traite l’ensemble des disciplines de SHS et apporte une information de signification équivalente, afin de la soumettre à l’évaluation des experts et des scientifiques.

Le projet JournalBase

  • 4 « Outils innovants de traitement numérique pour la valorisation et la diffusion des données » : htt (...)

10En vue de réaliser ce travail, nous avons répondu fin 2007 à l’appel à projets du TGE Adonis4 du CNRS. Notre projet a été retenu et a reçu un financement pour 2008. Son objectif est de faire une comparaison systématique des bases de données (Web of Science, Scopus) et listes d’autorité de revues nationales et internationales qui sont apparues pour les SHS en 2007 et en 2008 (ERIH, AERES) afin d’évaluer la représentativité de ces sources pour les revues selon les disciplines, et de tester la qualité de leur emploi éventuel comme instruments de bibliométrie. Il ne s’agit pas d’apporter une validation de ces instruments mais d’offrir le plus d’éléments possibles, précisément pour les comparer et les évaluer.

11Les premiers résultats que nous avons mis en ligne en juin 2009 dans la revue Cybergeo sont destinés à la communauté scientifique internationale en SHS, mais également aux organismes scientifiques français, européens et internationaux, aux experts en IST, aux producteurs de l’information scientifique de manière très large (éditeurs commerciaux ou institutionnels, éditeurs de revues en accès libre) et aux instances d’évaluation nationales et internationales. C’est pourquoi notre objectif final est de mettre en ligne, en version bilingue anglais/français, la base de données de JournalBase en mode interactif sur une plate-forme collaborative, afin que les décideurs, les scientifiques, les experts de l’information scientifique disposent d’informations à jour et qu’ils puissent contribuer à faire avancer la réflexion sur ces questions, par l’échange d’expériences et de bonnes pratiques d’utilisation.

12Depuis leur création en 1964, les Citation Index se sont imposés comme une source unique et de référence pour la citation des articles. Notre étude porte donc sur deux des trois bases de citations du Web of Science, qui sont spécifiques aux SHS : le SSCI (2012 revues) et le AHCI (1 166 revues) soit au total environ 3 178 revues. Bien qu’en principe distinctes et produites par la même institution, ces deux bases comportent en fait 314 titres communs.

13La base de citations Scopus lancée en 2004 par le groupe d’édition néerlandais Elsevier est venue ébranler le monopole mondial détenu jusque là par Thomson Scientific. L’ambition de l’éditeur commercial est de permettre l’accès à l’ensemble de la littérature scientifique institutionnelle mondiale. Le nombre de revues affiché sur le site de Scopus est impressionnant : pour les SHS il serait d’environ 6 200 titres (le fichier initial général recense 22 688 revues dont 15 863 actives pour l’ensemble des sciences). Pour Scopus comme pour le WOS, l’accès à ces bases de données privées est payant et se négocie (au prix fort) au niveau de la direction des organismes de recherche et des bibliothèques universitaires. Il est donc important, aussi de ce point de vue, d’en connaître la couverture exacte.

  • 6 HERA : Humanities in the European Research Area. Consortium d’agences de financement de la recherch (...)

14En réaction à l’hégémonie du WOS et devant l’absence de représentativité des bases pour les revues SHS non anglophones, la Fondation européenne de la science (ESF), en collaboration avec le consortium HERA6, s’est lancée de son côté dans le recensement des revues européennes en SHS à l’aide de panels d’experts, et a publié en 2007, puis en 2008 des listes de revues par champ disciplinaire (ERIH) pour les "Humanities" comprenant environ 5 200 titres différents de revues. Une autre liste pour les sciences sociales est en cours de réalisation.

15Du côté français, en juillet 2008 c’est au tour de l’Agence d’Evaluation de la Recherche et de l’Enseignement Supérieur (AERES) de publier des listes de revues SHS, en s’appuyant sur les listes de l’ERIH, d’autres établies par le CNRS, et des commissions d’experts. Environ 6 000 titres différents sont recensés dans cette liste.

16Les listes ERIH et celles de l’AERES ne s’accompagnent pas pour l’instant d’outils bibliométriques, mais on ne doit pas exclure qu’elles puissent être exploitées en ce sens dans l’avenir.

17Ce sont donc ces cinq sources que nous nous sommes proposés d’évaluer et de comparer. Nous n’avons pas intégré les données issues de Google Scholar (GS) et de PoP. En effet, ces outils nécessitent une méthodologie d’étude spécifique.

  • 7 Michèle Dassa et Christine Kosmopoulos, « JournalBase – Une étude comparative internationale des ba (...)
  • 8 Le classement des revues dans le PDF de JournalBase n’est pas par ordre alphabétique. En effet il e (...)

18Le 25 juin 2009, nous avons publié un premier état arrêté fin 2008 de JournalBase dans la revue électronique en libre accès Cybergeo7 ; Ce fichier est en pdf et téléchargeable sur le site8. Ce premier état nous a permis de mesurer la représentation des revues par discipline dans chacune des bases (AHCI, SSCI, Scopus, ERIH, AERES).

19Afin d’examiner la proportion de revues en accès libre (open access) comprise dans ces sources, une première mise à jour de JournalBase a été faite le 17 juillet 2009 à partir des revues recensées dans la liste du Directory of Open Access Journals (DOAJ). Le DOAJ recense toutes disciplines confondues plus 4 200 revues scientifiques actives en libre accès, dont environ 44 % sont des revues en SHS soit un peu plus de 1 600. On peut observer que seul un très faible pourcentage des revues du DOAJ pour les SHS sont présentes dans JournalBase, un peu plus de 300 revues soit seulement 0,33 % du nombre total des revues recensées.

20Ce n’est pas ici le lieu de détailler les objectifs de chacune des bases de données, leur processus de sélection des revues et leurs usages qui sont discutés dans d’autres publications (Kosmopoulos et Pumain 2007, Durand-Barthez 2009) mais il est évident que ceux-ci ne sont pas sans conséquence sur les résultats de notre analyse.

Nombre et localisation des revues recensées

21Une fois l’ensemble des documents réunis (WOS/AHCI,WOS/SSCI, Scopus/Social Sciences, ERIH, AERES), et outre les nombreuses erreurs de saisie détectées, le principal constat est la forte hétérogénéité des différentes sources, tant en termes de présentation (les formats des fichiers étaient en excel, en pdf, en html), que dans la nature des informations recensées dans chacune des bases (selon le cas ISSN, pays, éditeur, etc.) et dans leur indexation.

22Nous nous devons de souligner la très inégale qualité des sources. Un grand nombre d’erreurs ont été observées dans certaines bases, doublons, triplons, erreur sur les titres, sur les ISSN, ISSN manquants, confusion entre les ISSN papier et électronique, erreurs sur les indexations etc. et leur correction a représenté un travail de plusieurs mois.

23La plupart des revues recensées par l’AERES ne comportaient pas d’ISSN et leur pays d’édition n’est pas spécifié.

Combien de revues en SHS ?

24Au total, la fusion des cinq bases ou listes fait apparaître plus de 20 000 titres qui seraient à première vue différents, mais, après élimination des doublons entre les bases il reste au total 9551 revues différentes en SHS qui sont recensées dans JournalBase.

25L’ensemble des sources comportait en effet des doublons que nous avons repérés et retirés des listes générales. La plus grande surprise vient de l’examen de la base Scopus. Alors qu’elle affiche 6 200 titres pour les SHS, soit deux fois le nombre de celles du Web of Science, une fois soustraits les revues inactives, les doublons et les types de document autres que les revues (colloques, livres) et conservées uniquement les revues classées en sciences sociales, nous obtenons 3 453 revues pour cette base, soit à peine plus que dans le WOS. A signaler que pour la base Scopus, les sciences humaines sont une sous-catégorie des sciences sociales (voir la 4ème partie).

26En additionnant les ressources de l’AHCI et du SSCI et en éliminant les doublons, le WOS semble donc apporter un nombre de revues en SHS dont l’ordre de grandeur est comparable à celui de la base de données Scopus : 2 864 titres dans le premier cas (après élimination des 314 doublons entre le SSCI et le AHCI), 3 453 dans le second. Cependant, lorsqu’on analyse titre par titre chacune des bases, on constate que ces nombres correspondent en fait à des listes de revues sensiblement différentes.

27Le tableau 1 montre en effet que 15 % seulement des revues recensées par l’AHCI (pour les humanités) sont aussi recensées dans Scopus « social sciences », qui comprend aussi près de 78 % de celles de la base SSCI. En fait, si l’on considère l’ensemble de la base Scopus et plus particulièrement la rubrique « sciences sociales », la quasi-totalité des revues du WOS-SSCI (sciences sociales) se trouve dans Scopus puisque le recouvrement est d’environ 97 % (96,9 %). En revanche, le recouvrement est inférieur à 20 % pour la base « sciences humaines » AHCI (19,4 %).

  • 9 Toutefois, en 2009, Scopus a annoncé l’intégration de plusieurs centaines de revues en sciences hum (...)

28Ceci semble indiquer que Scopus aurait une meilleure couverture en sciences sociales qu’en sciences humaines ou qu’il y a une plus grande dispersion des revues en sciences humaines9. Par ailleurs, le taux de recouvrement avec la liste ERIH est plus important pour le AHCI qu’avec la base SSCI (71 % contre 39,5 %). Ce qui est logique puisque ERIH se présente comme une liste de revues de référence en sciences humaines. Cependant le recouvrement avec la base SSCI n’est pas négligeable (39,5 %). Ainsi, on se rend compte que la différenciation « sciences humaines/sciences sociales » n’est pas complètement évidente et que les frontières sont perméables. Nous reviendrons dans la 4ème partie sur cet aspect.

Tableau 1 : Comparaison des revues du WOS et de leur recouvrement dans Scopus et ERIH

29Le tableau 2 indique que la moitié seulement des revues contenues dans Scopus sont aussi contenues dans les bases du WOS et seulement de l’ordre de 30 % dans les listes ERIH. On voit bien que ces bases internationales donnent une information très peu comparable quant à l’ensemble des revues de SHS.

Tableau 2 : Comparaison des revues de Scopus et de leur recouvrement dans le WOS et ERIH

30La notion de couverture du champ par les bases de données, ou celle de représentativité des bases bibliométriques pour les SHS est certes difficile à établir, car on ne dispose pas d’une référence complète qui spécifierait combien de revues dans le monde et dans chaque pays publient des articles scientifiques dans ce domaine de connaissance. Il manque un dénominateur à la fraction ! Cependant, si l’on considère que le rapprochement des bases disponibles permet déjà une première évaluation du nombre des revues qui ont pu être signalées, force est de considérer que les deux grandes bases bibliométriques commerciales, WOS ou Scopus, ne recouvrent chacune qu’un tiers du champ recensé par ailleurs. Les listes de l’ERIH et de l’AERES font un peu mieux, en couvrant chacune la moitié du champ identifié, et cela alors même qu’elles n’ont pas encore réalisé complètement leur projet de recensement pour l’ensemble des disciplines.

31Il reste à vérifier si les listes parviennent à corriger l’un des défauts le plus souvent reprochés aux bases bibliométriques commerciales, qui est leur sur-représentation des revues anglophones.

Un fort biais géographique et linguistique

32Le pays d’édition des revues est mentionné dans les 4 bases AHCI, SSCI, Scopus et ERIH. Le tableau 3 donne respectivement pour les bases AHCI, SSCI et Scopus « sciences sociales » (dans lesquelles sont incluses les sciences humaines) la répartition en nombre et en pourcentage des revues qu’elles recensent par pays d’édition. La domination des Etats-Unis est écrasante : la moitié des revues citées dans le WOS y sont publiées (42 % pour les humanités, 54 % pour les sciences sociales), et la base Scopus ne corrige guère cette hégémonie, avec 42 % de revues états-uniennes. Dans les quatre bases étudiées, le Royaume-Uni arrive en seconde position, avec près de 20 % des titres dans ERIH, 17 % dans AHCI, près de 25 % dans SSCI et 28 % dans Scopus.

33Si on considère l’ensemble « Etats-Unis et Royaume-Uni » (tableau 4), on vérifie que les bases commerciales Wos et Scopus répertorient une très grande majorité de revues anglophones, dans tous les cas plus de 2/3 des revues et jusqu’à près de 80 % pour la base WOS-SSCI.

34ERIH qui se positionne comme un outil européen ne présente effectivement que 38,4 % de revues éditées au Royaume-Uni et aux Etats-Unis. Inversement, il répertorie plus de 50 % de revues européennes hors du Royaume-Uni, alors que l’on n’en trouve qu’environ 15 % dans le WOS-SSCI (tableau 4).

35La localisation géographique ne permet pas toujours de connaître la langue de publication, celle-ci est indiquée pour les revues du classement ERIH uniquement. La prééminence des publications en anglais explique sans doute le bon classement relatif des Pays-Bas, qui arrivent à la 2e position des pays d’Europe et en 3e position du classement mondial dans les bases SSCI et Scopus. Ce bon classement des Pays-Bas peut être aussi dû à la nationalité hollandaise de l’éditeur Elsevier. Ainsi, certaines revues éditées par Elsevier, même en langue étrangère, sont considérées comme hollandaises.

Tableau 3 : Top 10 pour les pays d’édition des revues des 4 bases (ERIH, Scopus, WOS-AHCI, WOS-SSCI)

Tableau 3 : Top 10 pour les pays d’édition des revues des 4 bases (ERIH, Scopus, WOS-AHCI, WOS-SSCI)

Tableau 4 : Répartition des revues des 4 bases (ERIH, Scopus, WOS-AHCI, WOS-SSCI) par groupe de pays d’édition

L’espace Européen de la Recherche est composé des 27 pays de l’Union européenne plus la Suisse, la Norvège, le Lichtenstein, Israël et l’Islande.

  • 10 Archambault É. et Vignola-Gagné É., 2004. L’utilisation de la bibliométrie dans les sciences social (...)

36La part des revues éditées en France est d’un peu moins de 6 % dans la base AHCI (Tableau 3) – elle y devance alors les Pays-Bas- mais elle atteint seulement 1,19 % des revues du SSCI et 1,37 % de celles de Scopus avec respectivement 24 et 47 revues recensées. La France se trouve ainsi 4e en Europe, après le Royaume-Uni, les Pays-Bas et l’Allemagne (3e dans l’AHCI avec 66 revues). Les revues françaises sont très clairement sous-représentées dans les bases de données, puisque le nombre total des revues scientifiques françaises en SHS est estimé de l’ordre de 200010. Les pays de l’Europe du Sud, Espagne et surtout Italie, sont encore beaucoup moins bien représentés dans chacune des bases. En revanche, on trouve un grand nombre de revues européennes dans les listes ERIH. Par exemple le nombre de revues françaises est de 319 contre 47 dans Scopus, 66 dans WOS-AHCI et 24 dans WOS-SSCI (tableau 3).

37Cependant, les listes de l’ERIH ne corrigent qu’imparfaitement le biais de la domination anglophone. En effet, on observe que l’anglais est la langue de publication pour 45,4 % des revues répertoriées dans ERIH, soit un peu plus que l’ensemble des revues publiées aux Etats-Unis et au Royaume Uni (38,4 %). La deuxième langue est l’allemand (7,1 %) puis le français (5,8 %) alors que les revues allemandes et françaises représentent respectivement 10,1 % et 6,2 % des revues. Un certain nombre de revues européennes publient donc soit complètement en anglais, soit dans plusieurs langues dont l’anglais.

La difficile classification des revues par discipline

38Il est important pour les chercheurs de publier dans des revues qui sont reconnues dans leur spécialité, à la fois pour maintenir leur recherche au meilleur niveau du débat scientifique grâce aux systèmes des comités de lecture et d’évaluation par les pairs, et aussi parce que les institutions qui évaluent les chercheurs choisissent bien souvent de constituer des comités d’experts d’un même champ disciplinaire. Certes, les revues généralistes, ou situées à l’interface de deux ou plusieurs disciplines, ne sont pas rares en sciences humaines et sociales. Ces disciplines se sont en effet identifiées très progressivement et institutionnalisées à partir de la fin du XIXe siècle. Les différences entre elles se sont accentuées au fur et à mesure de l’avancement des constructions théoriques, mais les frontières sont périodiquement remises en cause et de nouveaux labels peuvent émerger, constitués soit à partir d’un objet ou d’une méthodologie spécifique (par exemple l’histoire des sciences), soit à l’interface de deux disciplines (par exemple la sociologie économique), soit autour d’une thématique devenue très porteuse dans la société (par exemple les sciences de l’information et de la communication).

39L’indexation des revues dans les bases de données utilise les classifications et les dénominations disciplinaires, pour permettre de repérer plus facilement l’orientation d’une revue, qui ne se lit pas toujours d’après son titre, et aussi afin d’effectuer divers catalogages et dénombrements. Nous ne détaillerons pas ici les très nombreux problèmes posés par l’indexation, d’ordre technique, mais aussi d’ordre épistémologique (en y incluant l’aspect culturel et linguistique), bien connus de tous ceux qui s’intéressent à ces questions. La comparaison internationale ajoute d’autres difficultés. Les classifications par discipline ne recouvrent pas les mêmes notions, ni les mêmes périmètres, selon les pays, selon donc les sources étudiées. La confusion peut sembler s’estomper lorsque le même terme est utilisé, mais c’est bien souvent une erreur : le même terme n’est pas porteur du même sens selon les langues et par conséquent la représentation courante d’une discipline dans un pays peut être associée à des thématiques différentes de celles d’autres pays. La difficulté épistémologique se double des difficultés résultant des choix techniques faits par les documentalistes ou les éditeurs des bases de données. A titre d’exemple, l’archéologie est répertoriée de manière distincte dans les classifications Wos, Scopus et ERIH mais est fusionnée avec l’histoire pour la liste AERES. L’histoire ne recouvre donc pas tout à fait le même périmètre dans les 4 outils.

  • 11 Nous avons rencontré des représentants d’Elsevier au printemps 2008, lors du salon i-expo et les av (...)

40L’organisation de l’indexation diffère considérablement dans les bases de données étudiées. La base de l’ERIH est en fait la réunion de 14 listes, une par champ disciplinaire. La base de l’AERES est constituée d’une liste unique, où les champs disciplinaires sont repérés par des mots-clés (jusqu’à 4 pour une même revue), et de listes reprenant certains titres pour un champ disciplinaire donné. L’indexation est beaucoup plus complexe dans les autres bases, qui utilisent bien davantage de mots-clés (jusqu’à 199 pour Scopus en 200811), soit au même niveau, soit en les hiérarchisant.

41Dans le WOS, tous les mots clés sont réunis dans le même champ, l’indexation est multivaluée. Nous avons dû faire appel à un informaticien pour traiter ce champ afin de pouvoir mesurer la part de chaque discipline dans les revues des bases AHCI et SSCI. Les revues sont indexées avec 96 mots-clés différents dans la base AHCI (2 012 revues) et 190 mots-clés pour le SSCI (1 166 revues). Chaque revue peut être indexée par 7 mots-clés au maximum (tableau 5).

42Dans Scopus en revanche, chaque mot-clé occupe un champ différent, l’indexation est hiérarchisée et il peut y avoir jusqu’à 14 niveaux d’indexation. La base Scopus comporte ainsi 5 Top Level. Le Top Level Social Sciences (3 453 revues) comprend 14 niveaux d’indexation différents et 199 mots-clés. Certaines incohérences existent dans l’indexation des revues, ainsi certaines revues de SHS sont classées dans d’autres Top Level. Nous avons toutefois décidé de nous en tenir aux revues qui étaient recensées dans la rubrique des sciences sociales. Notre recensement de la base Scopus ne peut donc pas être considéré comme parfaitement exhaustif.

Sources

Nb total de mots clés

Nb maximum de mots clés/revue

WOS-SSCI

190

7

WOS-AHCI

96

7

Scopus

199

14

ERIH -SH

14

4

AERES - SH

15

4

Total

514

Tableau 5 : Nombre de mots-clés des nomenclatures et nombre maximal pour une même revue

Une méthode d’établissement de correspondances entre les nomenclatures des sources

43Devant les difficultés pour un traitement comparatif de ces données, nous avons été amenées à développer une méthodologie adaptée. Une première étape a été de sélectionner une nomenclature disciplinaire commune, en évitant d’en produire une nouvelle. Pour les SHS, il existe au bas mot une vingtaine de listes de disciplines (SSCI, AHCI, Scopus, ERIH et AERES mais aussi celles du CNU, du Comité National du CNRS, des archives ouvertes HAL, de l’INIST, de l’ESF, etc.). Il a fallu choisir… Après une étude critique, nous avons finalement opté pour la classification européenne de l’ESF car celle-ci présente l’avantage de dépasser le niveau national tout en étant assez proche des spécialisations françaises. Nous avons traduit en français et adapté cette classification de l’ESF pour obtenir 27 catégories (tableau 6). Cette nomenclature n’est cependant pas exempte de faiblesses. Les catégories qu’elle utilise ne se situent pas au même niveau d’objet scientifique ou d’institution (par exemple la catégorie « relations internationales » pourrait être intégrée dans les « sciences politiques »). Il n’est pas évident que la distinction entre la catégorie « étude des femmes » et « étude du genre » soit absolument pertinente et nécessaire – et, tout comme pour le cas précédent, l’importance numérique, avec moins de deux cent revues, ne justifie pas complètement le maintien de cette catégorie dans une nomenclature (les auteurs du présent article, du fait de leur genre, assument !). La musique pourrait aussi être regroupée avec les arts. En revanche, d’autres champs qui relèvent pourtant des sciences humaines et sociales sont oubliés, comme l’architecture, l’urbanisme et l’aménagement. Mais le plus choquant sans doute reste l’européocentrisme de la catégorie nommée « études orientales et africaines » : même si un patrimoine existe dans ce hamp, on peut douter de l’utilité de conserver une telle rubrique qui concerne moins d’une cinquantaine de revues. C’est pourquoi, nous ne prétendons pas que le classement des revues dans les 27 catégories de JournalBase statue sur la nature des disciplines traitées dans ces revues. Cette classification est à prendre avant tout comme un instrument méthodologique. Elle a l’intérêt de produire un découpage relativement maniable pour analyser la représentativité des bases de données par discipline, dans un cadre principalement européen.

Tableau 6 : les 27 catégories de la classification ESF et leur nombre total de revues dans les 4 bases

44Nous avons ensuite réparti les 514 mots-clés recensés dans les 5 sources (WOS-AHCI, WOS-SSCI, Scopus, ERIH, AERES) dans ces 27 catégories. Le tableau 7 donne quelques exemples de ces correspondances.

Tableau 7 : Exemple d’affectation des mots-clés aux disciplines

NB : la liste des revues en littérature de l’AERES n’est pas encore publiée.

45Par ailleurs, les dates de mises à jour des outils ne sont pas toujours mentionnées. C’est le cas notamment de l’AERES à laquelle nous avons demandé d’afficher les dates de mise à jour sur ses pages web, sans succès. On retrouve toujours la date du 28/07/2008 (date de la première mise en ligne) alors que nous avons constaté des changements effectués bien après cette date.

Inégale valorisation des revues selon les bases

46Le nombre des revues par discipline est certes fortement dépendant de la finesse des nomenclatures, mais il n’est pas sans intérêt de constater que les disciplines les mieux représentées dans l’ensemble des 5 bases sont par ordre décroissant : psychologie et sciences cognitives, histoire, archéologie, études classiques, arts et histoire de l’art et Sciences commerciales et administratives (tableaux 6 et 8).

47Dans toutes les disciplines des sciences humaines (présentes dans ERIH), les listes AERES et ERIH ont sélectionné un nombre plus important de revues scientifiques de référence sauf en « art et histoire de l’art » où Scopus en a dénombré davantage. En « psychologie et sciences cognitives » ce sont les listes AERES et Scopus qui mentionnent le plus de revues.

48Dans sa version 2009, la liste AERES « histoire » regroupe des revues d’histoire et d’archéologie mais aussi d’histoire de l’art. Dans les données présentées dans le tableau 8 ce sont les listes AERES diffusées en 2008 qui ont été prises en compte, la catégorie « histoire de l’art » n’a donc pas été renseignée pour les listes AERES.

Tableau 8 : Nombre de revues par discipline et par base

0 = absence de liste.

49Les disciplines pour lesquelles on observe le plus de doubles comptes (pourcentage de revues nommées au moins deux fois supérieur à 50 %) sont la linguistique, la philosophie et « théologie et religion » (tableau 8). On peut considérer que ces 3 disciplines présentent chacune un « noyau dur » de revues de référence plus important que les autres disciplines. Il se trouve également que ces disciplines sont parmi celles qui ont les plus grandes proportions de revues communes à toutes les 5 bases (tableau 9). Cependant, ces proportions restent bien faibles…. Même pour ces disciplines plus « consensuelles », nous observons à nouveau qu’il y a une forte dispersion des revues SHS.

50A l’inverse, les disciplines qui apparaissent le moins homogènes en termes de reconnaissance et de choix de revues scientifiques de référence sont « art et histoire de l’art » et « histoire et philosophie des sciences ».

Catégories

Nb total de revues dans les 5 bases

Nb de revues communes

% de revues communes par discipline

Anthropologie, Ethnologie et Folklore

394

24

6,1

Histoire

2004

34

1,7

Histoire et Philosophie des Sciences

463

4

0,9

Linguistique

657

42

6,4

Philosophie

387

22

5,7

Psychologie et sciences cognitives

3267

350

10,7

Religion et Théologie

397

4

1,0

Tableau 9 : Nombre de revues communes aux 5 bases par discipline

51Les données du tableau 10 permettent d’affiner notre analyse quant à la représentativité géographique des bases de données étudiées. On constate que la prédominance des revues anglophones dans les bases de données commerciales, toujours plus importante que celle des listes ERIH et AERES, est variable selon les disciplines.

52Dans les disciplines de sciences humaines des listes ERIH, les catégories « religion et théologie » et linguistique sont beaucoup plus « européennes » (et surtout « continentales ») que dans les bases WOS et Scopus. La liste ERIH offre pour ces 2 disciplines plus de 70 % de revues européennes hors Royaume-Uni. En philosophie, en littérature, en linguistique, les listes ERIH corrigent sensiblement le biais géographique des bases commerciales. En revanche, pour la psychologie, les revues anglophones représentent plus de 80 % de l’ensemble des revues quelque soit la base de données considérée.

53Pour les sciences sociales (économie, géographie, sociologie), on observe moins d’un tiers de revues européennes continentales dans toutes les bases commerciales. La discipline la plus « dominée » par les revues anglophones, américaines et anglaises, est la sociologie où la proportion de revues européennes « continentales » est inférieure à 18 % dans toutes les bases.

Tableau 10 : nombre de revues par espace géographique et par discipline

Les cases grisées représentent l’espace européen de la recherche moins le Royaume-Uni.
EER : Espace Européen de la Recherche
USA + UK : Etats-Unis + Royaume-Uni
EER-UK : Espace Européen de la Recherche moins Royaume-Uni
EER + USA : Espace Européen de la Recherche plus Etats-Unis

Conclusion

54Comme toutes les disciplines scientifiques, les SHS font appel de plus en plus aux outils numériques, que ce soit pour la publication, l’archivage, la recherche documentaire, ou l’analyse et le traitement des informations qu’elles produisent et utilisent. La visibilité de la production scientifique, de même que les échanges intra- et inter-disciplinaires, sont certainement facilités et amplifiés par les bases de données documentaires. La tentation est grande pour certaines institutions d’employer aussi celles-ci à des fins d’évaluation, même si cette pratique reste très fortement critiquable, tout particulièrement dans le domaine des SHS. Mais qu’on le veuille ou non, les bases de données bibliométriques existent. Il est donc important d’en bien connaître le contenu, pour en préciser les contours et les limites, voire évaluer leur usage pour l’évaluation !

55Il ressort de notre étude qu’aucun outil ne reflète convenablement l’ensemble des revues de référence importantes en SHS. La couverture la plus large en termes de nombre de revues, et notamment européennes, est sans aucun doute celle d’ERIH, mais elle ne concerne que les "Humanities". La liste de l’AERES offre également un éventail bien plus large que les grandes bases commerciales. Il est à noter que Scopus a annoncé l’intégration de plusieurs centaines de revues en sciences humaines en 2009, qui ne sont pas prises en compte dans la présente étude arrêtée fin 2008. Une mise à jour de l’ensemble des données sera effectuée courant 2010. Toutefois, la liste établie dans cet article, que nous appelons JournalBase, constitue désormais l’inventaire le plus large puisqu’elle répertorie sans doubles comptes et avec des identifiants exacts les revues mentionnées dans chacune des autres bases.

56Faute de disposer d’une liste exhaustive des revues existantes, on ne peut pas mesurer exactement le degré de représentativité des bases bibliométriques pour les revues de SHS. On obtient cependant des résultats très différents selon les disciplines. De toute évidence, quel que soit l’outil considéré, les degrés de représentativité calculés selon la langue et le pays d’édition révèlent des biais extrêmement forts, qui ne reflètent pas tant des gradients de qualité scientifique que des relations de domination dans le monde actuel, d’ordre politique et culturel, voire économique.

57Ces résultats nous conduisent donc à souligner l’importance d’afficher plus de transparence quant aux procédures et aux critères de sélection des revues dans les différents outils, qu’ils soient commerciaux ou non, notamment pour limiter les biais géographiques et disciplinaires que nous avons pu constater lors de cet inventaire des contenus des bases de données.

58Notre objectif est désormais d’avancer dans la mise à jour pour 2009 de JournalBase et dans la réalisation d’une plate-forme collaborative qui comprendra l’accès dynamique à la base de données, afin de permettre une veille internationale sur ces informations. La publication dans une revue en accès libre qui permet l’interactivité devrait également permettre de créer un espace de débat qui s’appuie sur des informations et une bibliographie validées par la communauté scientifique.

Top of page

Bibliography

Archambault É. et Vignola-Gagné É., 2004. L’utilisation de la bibliométrie dans les sciences sociales et les humanités. Conseil de recherches en sciences humaines du Canada (CRSH) par Science-Metrix, 84 pages. http://www.science-metrix.com/fr/projets_2004_Bibliometrie_Sciences_Sociales.htm

Bosman J. Van Mourik I. Menno R. Sieverts Eric. Verhoeff H. 2006, Scopus reviewed and compared The coverage and functionality of the citation database Scopus including comparisons with Web of Science and Google Scholar. Utrecht, Utrecht University Library, 2006. 63 p.

Durand-Barthez M, 2009. "Les outils bibliométriques d’évaluation de la recherche", Documentaliste-sciences de linformation, vol 46, n° 4, 44-49.

Gavel Y, Iselid L, 2008, "Web of Science and Scopus: a journal title overlap study" Emerald, vol. 32, No1, 8-21. www.emeraldinsight.com/1468-4527.htm

Fridenson P., 2009, "La multiplication des classements de revues de sciences sociales", Le Mouvement Social vol. 1, n° 226, 5-14.

Filliatreau G., 2008, « Bibliométrie et évaluation en sciences humaines et sociales : une brève introduction », Revue d’histoire moderne et contemporaine, n° 55/4bis, 61-66.

Kosmopoulos C, Pumain D., 2007 "Citation, Citation, Citation : Bibliometrics, the web and the Social Sciences and Humanities", Cybergeo, Science et Toile, article n° 411, 17/12/2007. http://www.cybergeo.eu/index15463.html

Pritchard A., 1969, "Statistical Bibliography or Bibliometrics", Journal of Documentation, 25 (4) : 348-349.

Rapport du GF2i sur l’édition scientifique française en Sciences Humaines et Sociales. 2009. Document de travail. http://www.gfii.asso.fr/

"The Politics of Indexing and Ranking", 2007, ACME : www.acme-journal.org

Top of page

Annex

Sources

AERES : Agence d’évaluation de la recherche et de l’enseignement supérieur : http://www.aeres-evaluation.fr/​La-liste-des-revues-scientifiques

Directory of Open Access Journals (DOAJ): http://www.doaj.org/​

European Reference Index for Humanities (ERIH): http://www.esf.org/​research-areas/​humanities/​research-infrastructures-including-erih/​erih-initial-lists.html

European Science Foundation : http://www.esf.org/​home.html

JournalBase : http://www.cybergeo.eu/​index22492.html

OST : Observatoire des Sciences et des Techniques : http://www.obs-ost.fr/​

Publish or Perish: http://www.harzing.com/​pop.htm

Scopus: http://info.scopus.com/​detail/​what/​

The Web of Science (WOS): http://scientific.thomson.com/​mjl/​

TGE-Adonis : http://www.tge-adonis.fr/​

Top of page

Notes

1 Pritchard A., 1969, “Statistical Bibliography or Bibliometrics”.

2 Rapport GFII/TGE-Adonis sur l’édition scientifique française en Sciences Humaines et Sociales.

3 Véronique Ginouvès (anthropologie), Blandine Nouvel (archéologie), Mireille Gely et Martine Chazelas (architecture, urbanisme, société), Odile Contat et Emmanuelle Dedenon (économie), Annette Schläfer (études germaniques), Christine Kosmopoulos (géographie), Jean-Christophe Peyssard (histoire), Catherine Faveaud (Religion), Caroline Abela (citations) et avec la participation du réseau ISORE.

4 « Outils innovants de traitement numérique pour la valorisation et la diffusion des données » : http://www.tge-adonis.fr

5 http://www.cybergeo.eu/index22492.html

6 HERA : Humanities in the European Research Area. Consortium d’agences de financement de la recherche en sciences humaines.

7 Michèle Dassa et Christine Kosmopoulos, « JournalBase – Une étude comparative internationale des bases de données des revues scientifiques en sciences humaines et sociales (SHS) », Cybergeo, Dossier : Les revues en sciences humaines et sociales, mis en ligne le 25 juin 2009, URL : http://www.cybergeo.eu/index22492.html

8 Le classement des revues dans le PDF de JournalBase n’est pas par ordre alphabétique. En effet il est le résultat de tableaux croisés qui ne peuvent pas être triés simplement. La mise en ordre sera réalisée ultérieurement, mais on peut déjà rechercher une revue sur un mot du titre ou sur un autre champ. Les différentes orthographes ou différentes casses affichées sont l’exacte reproduction de ce qui a été recueilli dans la source. Il peut arriver que des revues ne soient pas recensées dans Journalbase ou qu’une source ait été omise. Cette lacune pourrait s’expliquer par un défaut d’indexation ou une information erronée dans la base d’origine ou encore par le fait que la revue a été intégrée en 2009. Nous remercions par avance toutes les personnes qui voudront bien nous signaler ces omissions possibles.

9 Toutefois, en 2009, Scopus a annoncé l’intégration de plusieurs centaines de revues en sciences humaines, ce qui nous amènera à faire une mise à jour en 2010 de ces données présentement arrêtées fin 2008.

10 Archambault É. et Vignola-Gagné É., 2004. L’utilisation de la bibliométrie dans les sciences sociales et les humanités.

11 Nous avons rencontré des représentants d’Elsevier au printemps 2008, lors du salon i-expo et les avons informés des nombreuses incohérences relevées dans l’indexation de Scopus. En juin 2009, un nouveau fichier excel a été mis en ligne par Elsevier qui a fait disparaître la plupart des mots clés des fichiers de 2008 que nous avons traités. Un important travail d’indexation des revues reste désormais à faire.

Top of page

References

Electronic reference

Michèle Dassa, Christine Kosmopoulos and Denise Pumain, « JournalBase. Comparer les bases de données scientifiques internationales en sciences humaines et sociales (SHS) », Cybergeo: European Journal of Geography [Online], Topics, Online since 08 January 2010, connection on 28 March 2024. URL : http://journals.openedition.org/cybergeo/22864 ; DOI : https://doi.org/10.4000/cybergeo.22864

Top of page

About the authors

Michèle Dassa

Institut SHS du CNRS, France, michele.dassa@cnrs-dir.fr

By this author

Christine Kosmopoulos

CNRS-UMR 8504, France, christine.kosmopoulos@parisgeo.cnrs.fr

By this author

Denise Pumain

Université de Paris 1- Sorbonne, France, denise.pumain@parisgeo.cnrs.fr

By this author

Top of page

Copyright

CC-BY-4.0

The text only may be used under licence CC BY 4.0. All other elements (illustrations, imported files) are “All rights reserved”, unless otherwise stated.

Top of page
Search OpenEdition Search

You will be redirected to OpenEdition Search