Skip to content

rin-nas/php-text-words-parser

Repository files navigation

Parse html text into sentences and words. Грамматический разбор html текста на предложения и слова

Purpose

Анализ слов в тесте для реализации каких-либо алгоритмов (например, похожести текстов) Использование индексатором для полнотекстового поиска, отображение фрагментов текста и подсветка найденных слов в результатах поиска

Features

  1. Получение всех слов в тексте в порядке их следования
  2. Получение всех предложений и слов в тексте в порядке их следования
  3. Получение уникальных слов в тексте с весами их появления в тексте
  4. Нормализация текста (описание см. ниже)
  5. Распределение абсолютных позиций слов к абсолютным байтовым позициям в нормализованном тексте
  6. Поддержка нескольких языков одновременно
  7. Работает с любыми языками мира, используемая кодировка — UTF-8.

Terminology

  1. Нормализованный текст — текст с сохранением регистра, с параграфами и переносами строк, но без html тэгов и сущностей, без знака табуляции, ударения, мягкого переноса строк
  2. Слово — последовательность букв или цифр (мешанина не допускается!)
  3. Абсолютная позиция слова — порядковый номер слова в нормализованном тексте
  4. Относительная позиция слова — порядковый номер слова относительно предложения в нормализованном тексте
  5. Байтовая позиция слова — смещение слова в байтах в нормализованном тексте

Example

$wp = new Text_WordsParser(array('Latin', 'Cyrillic'));
$html = file_get_contents('test.html');
$text = $wp->parse($html, $words, $sentences, $uniques, $offset_map);
var_dump($text, $words, $sentences, $uniques, $offset_map);

Useful links

  1. http://www.evertype.com/alphabets/index.html The Alphabets of Europe
  2. http://ru.wikipedia.org/wiki/TF-IDF Оценка важности слова в контексте текста
  3. http://morpher.ru/Description.aspx Технология автоматического склонения
  4. http://phpmorphy.sourceforge.net/dokuwiki/demo Библиотека морфологического анализа на PHP, демонстрация работы phpMorphy (введи, например, слово "родной" или "раздела")
  5. http://packages.python.org/pymorphy/ Морфологический анализатор

Project was exported from http://code.google.com/p/php-text-words-parser

About

Parse html text into sentences and words on PHP. Грамматический разбор html текста на предложения и слова на PHP

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Languages