Plugin pour SPIP qui permet de découvrir des entités nommées dans un corpus. On essaie notamment de trouver les personnalités évoquées par période de temps.

On peut trouver des noms de personnalités dans un texte en recherchant le masque suivant : Xxx Xxx xx xx Xxx

Ce masque est cependant perturbé par les mots courants de la langue francaise en début de phrases, et les pays, les villes et les institutions qui font également usage des capitales.

On essaie donc d'isoler ces entités nommées connues avant de rechercher le masque sur le reliquat du texte.

On s'appuie pour cela sur des listes issues du site typo.mondediplo.net, ou monde-diplomatique.fr

• Lieux -- Pays -- Capitales -- Villes

• Institutions -- Entreprises -- ONG -- Institutions publiques -- Partis politiques

On cherche ensuite en Regexp le masque Xxx Xxx xx xx Xxx sur le reliquat du texte, en ignorant les mots de la langue française les plus fréquents constatés. fichier stop word mots_courants.php.

On obtient : -> Des Personnalités -> D'autres entités pour gonfler les listes prédéfinies.

spip entites ; spip entites -m oui

Lancer la commande spip-cli spip entites puis spip entites -m oui. La commande spip entites traite 1 000 articles. On peut la relancer plusieurs fois si il faut traiter plus que 1 000 articles, voire carrément envoyer for i in {1..50} ; do spip entites ; done.

Après une une indexation passer les traitements d'optimisations des données à posteriori avec spip entites -m oui

On peut ensuite voir les entités nommées sur la page /?page=explorer.

spip entites // pour indexer 1 000 articles.
spip entites -m oui // pour optimiser après une indexation
spip entites -s "gilets jaunes" // réindexer les articles dont le texte contient "gilets jaunes"
spip entites -r oui // pour recommencer à zéro l'indexation

Voir les entites trouvées pour un article en particulier (debug) ?page=extraire_entites&id_article=59646

Calculer les entités dans un fichier.txt en ligne de commandes spip entites fichier.txt

Installer un spip avec une base de données d'articles + le plugin spip-cli (https://contrib.spip.net/SPIP-Cli) , puis

cd plugins/
git clone https://github.com/BoOz/entites_nommees.git
chmod -R g+rwX entites_nommees
chmod +x entites_nommees/spip-cli/sync_data.sh

Copier les fichiers du répertoire /squelettesdans votre propre répertoire /squelettes ou /squelettes/contenu.

Activer ensuite le plugin entites_nommees dans l'admin de SPIP.

Définir dans config/mes_options.php le secteur dans lequel prendre les articles pour trouver des entités. Par défaut 1.

define('_SECTEUR_ENTITES',1);
define('_SECTEUR_ENTITES',"919, 1379,1723,901"); // pour plusieurs secteurs

Note : en SPIP 2, installer aussi le plugin iterateurs : https://contrib.spip.net/Iterateurs

RewriteRule ^references$  spip.php?page=entites [QSA,L]
RewriteRule ^references/([a-zA-Z0-9._%\ -]+)/?$  spip.php?page=entite&entite=$1 [QSA,L]

spip entites -m oui // pour optimiser après une indexation

Le fichier recaler.txt permet de réformater des entités mal indexées.

format :

// entite actuelle 	entite dans l'extrait	type_entite	entite

Sont reindexées aussi les entités indéterminées ultérieurement ajoutées dans les fichiers *_ajouts dans chaque sous répertoires de listes lexicales (mise à jour du type d'entités).

https://github.com/BoOz/entites_nommees/tree/master/listes_lexicales

Enfin on efface les mots de mots_courants.php qui ont été enregistrés par erreur.

https://github.com/BoOz/entites_nommees/blob/master/mots_courants.php

https://www.textrazor.com/demo https://github.com/ICIJ/datashare https://permid.org/