Ejemplos de Zend\Search\Lucene\Analysis Token en PHP

Ejemplo n.º 1

Archivo: StopWords.php Proyecto: nresni/Ariadne

 /**
  * Normalize Token or remove it (if null is returned)
  *
  * @param \Zend\Search\Lucene\Analysis\Token $srcToken
  * @return \Zend\Search\Lucene\Analysis\Token
  */
 public function normalize(Token $srcToken) {
     if (array_key_exists($srcToken->getTermText(), $this->_stopSet)) {
         return null;
     } else {
         return $srcToken;
     }
 }

Ejemplo n.º 2

Archivo: ShortWords.php Proyecto: niallmccrudden/zf2

 /**
  * Normalize Token or remove it (if null is returned)
  *
  * @param \Zend\Search\Lucene\Analysis\Token $srcToken
  * @return \Zend\Search\Lucene\Analysis\Token
  */
 public function normalize(Token $srcToken) {
     if (strlen($srcToken->getTermText()) < $this->length) {
         return null;
     } else {
         return $srcToken;
     }
 }

Ejemplo n.º 3

Archivo: LowerCaseUtf8.php Proyecto: niallmccrudden/zf2

    /**
     * Normalize Token or remove it (if null is returned)
     *
     * @param \Zend\Search\Lucene\Analysis\Token $srcToken
     * @return \Zend\Search\Lucene\Analysis\Token
     */
    public function normalize(Token $srcToken)
    {
        $newToken = new Token(mb_strtolower($srcToken->getTermText(), 'UTF-8'),
                                       $srcToken->getStartOffset(),
                                       $srcToken->getEndOffset());

        $newToken->setPositionIncrement($srcToken->getPositionIncrement());

        return $newToken;
    }

Ejemplo n.º 4

Archivo: LowerCase.php Proyecto: stunti/zf2

 /**
  * Normalize Token or remove it (if null is returned)
  *
  * @param \Zend\Search\Lucene\Analysis\Token $srcToken
  * @return \Zend\Search\Lucene\Analysis\Token
  */
 public function normalize(Analysis\Token $srcToken)
 {
     $newToken = new Analysis\Token(strtolower($srcToken->getTermText()), $srcToken->getStartOffset(), $srcToken->getEndOffset());
     $newToken->setPositionIncrement($srcToken->getPositionIncrement());
     return $newToken;
 }