/** * Convert all HTML entities to native UTF-8 characters * Функция декодирует гораздо больше именованных сущностей, чем стандартная html_entity_decode() * Все dec и hex сущности так же переводятся в UTF-8. */ public static function entity_decode($s, $is_special_chars = false) { return UTF8::html_entity_decode($s, $is_special_chars); }
/** * * @param string $s строка для проверки * @param string $delta ширина найденного фрагмента в словах * (кол-во слов от матного слова слева и справа, максимально 10) * @param string $continue строка, которая будет вставлена в начале и в конце фрагмента * @param bool $is_html расценивать строку как HTML код? * в режиме $is_html === TRUE html код игнорируется, а html сущности заменяются в "чистый" UTF-8 * @param string|null $replace строка, на которую заменять матный фрагмент, например: '[ой]' ($replace д.б. в кодировке $charset) * опция работает в PHP >= 5.2.0 * @param string $charset кодировка символов (родная кодировка -- UTF-8, для других будет прозрачное перекодирование) * @return bool|string|int|null Если $replace === NULL, то возвращает FALSE, если мат не обнаружен, иначе фрагмент текста с матерным словом. * Если $replace !== NULL, то возвращает исходную строку, где фрагменты мата заменены на $replace. * В случае возникновения ошибки возвращает код ошибки > 0 (integer): * * PREG_INTERNAL_ERROR * * PREG_BACKTRACK_LIMIT_ERROR (see also pcre.backtrack_limit) * * PREG_RECURSION_LIMIT_ERROR (see also pcre.recursion_limit) * * PREG_BAD_UTF8_ERROR * * PREG_BAD_UTF8_OFFSET_ERROR (since PHP 5.3.0) * Или -1, если ReflectionTypeHint вернул ошибку */ public static function parse($s, $delta = 3, $continue = "…", $is_html = true, $replace = null, $charset = 'UTF-8') { if (!ReflectionTypeHint::isValid()) { return -1; } if ($s === null) { return null; } static $re_badwords = null; if ($re_badwords === null) { #предлоги русского языка: #[всуо]| #по|за|на|об|до|от|вы|вс|вз|из|ис| #под|про|при|над|низ|раз|рас|воз|вос| #пооб|повы|пона|поза|недо|пере|одно| #полуза|произ|пораз|много| $pretext = array('[уyоoаa]_? (?=[еёeхx])', '[вvbсc]_? (?=[хпбмгжxpmgj])', '[вvbсc]_?[ъь]_? (?=[еёe])', 'ё_? (?=[бb6])', '[вvb]_?[ыi]_?', '[зz3]_?[аa]_?', '[нnh]_?[аaеeиi]_?', '[вvb]_?[сc]_? (?=[хпбмгжxpmgj])', '[оo]_?[тtбb6]_? (?=[хпбмгжxpmgj])', '[оo]_?[тtбb6]_?[ъь]_? (?=[еёe])', '[иiвvb]_?[зz3]_? (?=[хпбмгжxpmgj])', '[иiвvb]_?[зz3]_?[ъь]_? (?=[еёe])', '[иi]_?[сc]_? (?=[хпбмгжxpmgj])', '[пpдdg]_?[оo]_? (?> [бb6]_? (?=[хпбмгжxpmgj]) | [бb6]_? [ъь]_? (?=[еёe]) | [зz3]_? [аa] _? )?', '[пp]_?[рr]_?[оoиi]_?', '[зz3]_?[лl]_?[оo]_?', '[нnh]_?[аa]_?[дdg]_? (?=[хпбмгжxpmgj])', '[нnh]_?[аa]_?[дdg]_?[ъь]_? (?=[еёe])', '[пp]_?[оoаa]_?[дdg]_? (?=[хпбмгжxpmgj])', '[пp]_?[оoаa]_?[дdg]_?[ъь]_? (?=[еёe])', '[рr]_?[аa]_?[зz3сc]_? (?=[хпбмгжxpmgj])', '[рr]_?[аa]_?[зz3сc]_?[ъь]_? (?=[еёe])', '[вvb]_?[оo]_?[зz3сc]_? (?=[хпбмгжxpmgj])', '[вvb]_?[оo]_?[зz3сc]_?[ъь]_? (?=[еёe])', '[нnh]_?[еe]_?[дdg]_?[оo]_?', '[пp]_?[еe]_?[рr]_?[еe]_?', '[oо]_?[дdg]_?[нnh]_?[оo]_?', '[кk]_?[oо]_?[нnh]_?[оo]_?', '[мm]_?[уy]_?[дdg]_?[oоaа]_?', '[oо]_?[сc]_?[тt]_?[оo]_?', '[дdg]_?[уy]_?[рpr]_?[оoаa]_?', '[хx]_?[уy]_?[дdg]_?[оoаa]_?', '[мm]_?[нnh]_?[оo]_?[гg]_?[оo]_?(?![еёe]\\s)', '[мm]_?[оo]_?[рpr]_?[дdg]_?[оoаa]_?', '[мm]_?[оo]_?[зz3]_?[гg]_?[оoаa]_?', '[дdg]_?[оo]_?[лl]_?[бb6]_?[оoаa]_?', '[оo]_?[сc]_?[тt]_?[рpr]_?[оo]_?'); $badwords = array('([х]_?[й])', '(?<=\\PL) %RE_PRETEXT%? [hхx]_?[уyu]_?[ийiеeёяюju] #хуй, хуя, хую, хуем, хуёвый, охуительный #исключения: (?<! _hue(?=_) #HUE -- цветовая палитра | _hue(?=so_) #hueso -- испанское слово | _хуе(?=дин) #Хуедин -- город в Румынии | _hyu(?=ndai_) #Hyundai -- марка корейского автомобиля | _хуе(?=ндай_) #Hyundai -- марка корейского автомобиля )', '(?<=\\PL) %RE_PRETEXT%? [hхx]_?[уyu]_?[ийi1]_?[лoо0] #хуйлo #исключения: (?<! _hue(?=_) #HUE -- цветовая палитра | _hue(?=so_) #hueso -- испанское слово | _хуе(?=дин) #Хуедин -- город в Румынии | _hyu(?=ndai_) #Hyundai -- марка корейского автомобиля )', '(?<=\\PL) %RE_PRETEXT%? [hхx]_?[уyu]_?[л]_?[oо0] #ху*лo #исключения: (?<! _hue(?=_) #HUE -- цветовая палитра | _hue(?=so_) #hueso -- испанское слово | _хило(?=_) #хило | _хуе(?=дин) #Хуедин -- город в Румынии | _hyu(?=ndai_) #Hyundai -- марка корейского автомобиля )', '(?<=\\PL) %RE_PRETEXT%? [hхx]_?[ийi1]_?[лl]_?[oоo0] #ху*лo #исключения: (?<! _hue(?=_) #HUE -- цветовая палитра | _hue(?=so_) #hueso -- испанское слово | _хуе(?=дин) #Хуедин -- город в Румынии | _хило(?=_) #хило | _hyu(?=ndai_) #Hyundai -- марка корейского автомобиля )', '(?<=\\PL) %RE_PRETEXT%? [hхx]_?[ийi1]_?[l]_?[oоo0] #ху*лo #исключения: (?<! _hue(?=_) #HUE -- цветовая палитра | _hue(?=so_) #hueso -- испанское слово | _хуе(?=дин) #Хуедин -- город в Румынии | _хило(?=_) #хило | _hyu(?=ndai_) #Hyundai -- марка корейского автомобиля )', '(?<=\\PL) %RE_PRETEXT%? [пp]_?[иieеё]_?[зz3]_?[дd](?=_?[:vowel:])', '(?<=\\PL) [cсs]_?[oaао]_?[cсs]_?[iи]\\b', '(?<=\\PL) [oо]_?[tт]_?[cсs]_?[oо]_?[cсs]_?[iи]', '(?<=\\PL) [cсs]_?[oо]_?[cсs]_?[аa]_?[тt]_?[ь]', '(?<=\\PL) %RE_PRETEXT%? [eеё]_? #исключения (?<!н[eе][её]_|т_е_) #неё, т.е. большие [бb6]_? (?= [уyиi]_ #ебу, еби | [ыиiоoaаеeёуy]_?[:consonant:] #ебут, ебать, ебись, ебёт, поеботина, выебываться, ёбарь #исключения (?<!_ebo[kt](?=_)|буд) #ebook, eboot, ее будут (?<!_ebo[kt](?=_)|бур) #ebook, eboot, ее будут (?<!_ebo[kt](?=_)|был) #ebook, eboot, е был (?<!_и[kt](?=_)|бай) #и бай | [лl](?:[оoаaыиiя]|ya) #ебло, ебла, ебливая, еблись, еблысь, ёбля | [нn]_?[уy] #ёбнул, ёбнутый | [кk]_?[аa] #взъёбка | [сc]_?[тt] #ебсти )', '(?<=\\PL) %RE_PRETEXT% (?<= \\pL\\pL|\\pL_\\pL_) [eеё]_?[бb6] #долбоёб, дураёб, изъёб, заёб, заебай, разъебай, мудоёбы ', '(?<=\\PL) я[еуи][бb][уy] (?=\\PL)', '(?<=\\PL) ёб (?=\\PL)', '\\b[ёeе]_?[бb]\\b', '\\b[ёeе]_?[бb]_?[tт]\\b', '[ё]_?[бb] ', '([т]_?[в]_?[о]_?[ю]_?[м]_?[а]_?[т]_?[ь])', '(?<=\\PL) ибу (?=\\PL)', '(?<=\\PL) %RE_PRETEXT%? [бb6]_?[лl]_?(?:я|ya)(?: _ #бля | _?[тдtd] #блять, бляди )', '(?<=\\PL) [пp]_?[иieе]_?[дdg]_?[eеaаoо]_?[rpр]', '(?<=\\PL) \\w*[пp]_?[иieе]_?[дdg]_?[eеaаoо]_?[rpр]\\b #исключения: (?<!импидор) #Импидор ', '(?<=\\PL) [дв]_?[еэ]_?[бb]_?[иi]_?[лl]\\b', '(?<=\\PL) [yу][р]_?[оo]_?[д]_?(?![л])', '(?<=\\PL) [мm]_?[уy]_?[дdg]_?[аa] #мудак, мудачок #исключения: (?<!_myda(?=s_)) #Chelonia mydas -- морская зеленая (суповая) черепаха ', '(?<=\\PL) [zж]_?h?_?[оo]_?[pп]_?[aаyуыiеeoо]', '(?<=\\PL) [мm]_?[аa]_?[нnh]_?[дdg]_?[aаyуыiеeoо]_ #манд[ауыео] #исключения: (?<! манда(?=[лн]|рин) | manda(?=[ln]|rin) ) ', '(?<=\\PL) [гg]_?[оo]_?[вvb]_?[нnh]_?[оoаaяеeyу]', '(?<=\\PL) f_?u_?[cс]_?k', '[^р]_?[scс]_?[yуu]_?[kк]_?[aаiи]', '[^р]_?[scс]_?[yуu]_?[4ч]_?[кk]', '\\bл_?[оo]_?[хx]\\b', '(?<=\\PL) [шщ]_?[лl]_?[ю]_?[хш]'); $trans = array('_' => '\\x20', '\\pL' => '[^\\x20\\d]', '\\PL' => '[\\x20\\d]', '[:vowel:]' => '[аеиоуыэюяёaeioyu]', '[:consonant:]' => '[^аеиоуыэюяёaeioyu\\x20\\d]'); $re_badwords = str_replace('%RE_PRETEXT%', '(?:' . implode('|', $pretext) . ')', '~' . implode('|', $badwords) . '~sxuSX'); $re_badwords = strtr($re_badwords, $trans); } $s = UTF8::convert_from($s, $charset); $replace = UTF8::convert_from($replace, $charset); $ss = $s; #saves original string if ($is_html) { #скрипты не вырезаем, т.к. м.б. обходной маневр на с кодом на javascript: #<script>document.write('сло'+'во')</script> #хотя давать пользователю возможность использовать код на javascript нехорошо $s = is_callable(array('HTML', 'strip_tags')) ? HTML::strip_tags($s, null, true, array('comment', 'style', 'map', 'frameset', 'object', 'applet')) : strip_tags($s); #заменяем html-сущности в "чистый" UTF-8 $s = UTF8::html_entity_decode($s, $is_htmlspecialchars = true); } if (strtoupper(substr($charset, 0, 3)) === 'UTF') { #remove combining diactrical marks $additional_chars = array(""); $s = UTF8::diactrical_remove($s, $additional_chars); } #ВотБ/\яПидорыОхуелиБлятьНахуйПохуйПи3децПолный if (version_compare(PHP_VERSION, '5.2.0', '>=')) { $s = preg_replace('~ [\\p{Lu}3] (?>\\p{Ll}+|/\\\\|[@36]+)++ #Вот (?= [\\p{Lu}3] (?:\\p{Ll} |/\\\\|[@36] ) ) #Бля ~sxuSX', '$0 ', $s); } $s = UTF8::lowercase($s); #получаем в массив только буквы и цифры #"с_л@о#во,с\xc2\xa7лово.Слово" -> "с л о во с лово слово слово слово слово" preg_match_all('~(?> \\xd0[\\xb0-\\xbf]|\\xd1[\\x80-\\x8f\\x91] #[а-я] | /\\\\ #л | @ #а | [a-z\\d]+ )+ ~sxSX', $s, $m); $s = ' ' . implode(' ', $m[0]) . ' '; $trans = array('/\\' => 'л', '@' => 'а'); $s = strtr($s, $trans); #цифровые подделки под буквы $trans = array('~ [3з]++ [3з\\x20]*+ ~sxuSX' => 'з', '~ [6б]++ [6б\\x20]*+ ~sxuSX' => 'б'); $s = preg_replace(array_keys($trans), array_values($trans), $s); #убираем все повторяющиеся символы, ловим обман типа "х-у-у-й" #"сллоооовоо слово х у у й" --> "слово слово х у й" $s = preg_replace('/( [\\xd0\\xd1][\\x80-\\xbf] \\x20? #optimized [а-я] | [a-z\\d] \\x20? ) \\1+ /sxSX', '$1', $s); //echo $s if ($replace === null || version_compare(PHP_VERSION, '5.2.0', '<')) { $result = preg_match($re_badwords, $s, $m, PREG_OFFSET_CAPTURE); if (function_exists('preg_last_error') && preg_last_error() !== PREG_NO_ERROR) { return preg_last_error(); } if ($result === false) { return 1; } #PREG_INTERNAL_ERROR = 1 if ($result && $replace === null) { list($word, $offset) = $m[0]; $s1 = substr($s, 0, $offset); $s2 = substr($s, $offset + strlen($word)); $delta = intval($delta); if ($delta === 0) { $fragment = '[' . trim($word) . ']'; } else { if ($delta < 1 || $delta > 10) { $delta = 3; } preg_match('/ (?> \\x20 (?>[\\xd0\\xd1][\\x80-\\xbf]|[a-z\\d]+)++ ){1,' . $delta . '}+ \\x20?+ $/sxSX', $s1, $m1); preg_match('/^ (?>[\\xd0\\xd1][\\x80-\\xbf]|[a-z\\d]+)*+ #ending \\x20?+ (?> (?>[\\xd0\\xd1][\\x80-\\xbf]|[a-z\\d]+)++ \\x20 ){0,' . $delta . '}+ /sxSX', $s2, $m2); $fragment = (ltrim(@$m1[0]) !== ltrim($s1) ? $continue : '') . trim((isset($m1[0]) ? $m1[0] : '') . '[' . trim($word) . ']' . (isset($m2[0]) ? $m2[0] : '')) . (rtrim(@$m2[0]) !== rtrim($s2) ? $continue : ''); } return UTF8::convert_to($fragment, $charset); } /* $wordsfinal=array( 'еб' ,'eb' ,'ёб' ,'ёb' ); $patternfinal = '/('.join($wordsfinal, '|').')/iu'; //print_r($s); //print_r($pattern_final); $resultNew = preg_match($patternfinal, $s,$m,PREG_OFFSET_CAPTURE); echo "ddd"; print_r($m); if ($resultNew === false) return 1; #PREG_INTERNAL_ERROR = 1 if ($resultNew) { return true; } //print_r($resultNew); //print_r($re_badwords); //print_r($m); */ /* $censor = new CensorWords; $censor->setDictionary("ru"); //$censor->generateCensorChecks(true); $resNew = $censor->censorString($s,true); print_r($resNew); if( count($resNew['matched'])>0 ) { return true; } */ //$pattern_final = '/('.join($words_final, '|').')/i'; //$resultNew = preg_match($pattern_final, $s); //print_r($resultNew); //print_r($pattern_final); //if ($result === false) return 1; #PREG_INTERNAL_ERROR = 1 //if ($result && $replace === null) //{ // return UTF8::convert_to($fragment, $charset); //} return false; } $result = preg_match_all($re_badwords, $s, $m); if (function_exists('preg_last_error') && preg_last_error() !== PREG_NO_ERROR) { return preg_last_error(); } if ($result === false) { return 1; } #PREG_INTERNAL_ERROR = 1 if ($result > 0) { #d($s, $m[0]); $s = $ss; #замена матного фрагмента на $replace foreach ($m[0] as $w) { $re_w = '~' . preg_replace_callback('~(?:/\\\\|[^\\x20])~suSX', array('self', '_make_regexp_callback'), $w) . '~sxuiSX'; $ss = preg_replace($re_w, $replace, $ss); #d($re_w); } while ($ss !== $s) { $ss = self::parse($s = $ss, $delta, $continue, $is_html, $replace, 'UTF-8'); } } return UTF8::convert_to($ss, $charset); }
/** * @param $str * * @return string */ private function _entity_decode($str) { static $entities; $flags = Bootup::is_php('5.4') ? ENT_QUOTES | ENT_HTML5 : ENT_QUOTES; // decode if (strpos($str, $this->xss_hash()) !== false) { $str = UTF8::html_entity_decode($str, $flags); } else { $str = UTF8::urldecode($str); } // decode-again, for e.g. HHVM, PHP 5.3, miss configured applications ... if (preg_match_all('/&[a-z]{2,}[;]{0}/i', $str, $matches)) { if (null === $entities) { // links: // - http://dev.w3.org/html5/html-author/charref // - http://www.w3schools.com/charsets/ref_html_entities_n.asp $entitiesSecurity = array('�' => '', '�' => '', '' => '', '' => '', '>⃒' => '', '' => '', '' => '', '­' => '', '­' => '', '­' => '', ':' => ':', ':' => ':', ':' => ':', '(' => '(', '(' => '(', '(' => '(', ')' => ')', ')' => ')', ')' => ')', '?' => '?', '?' => '?', '?' => '?', '/' => '/', '/' => '/', '/' => '/', ''' => '\'', ''' => '\'', ''' => '\'', ''' => '\'', ''' => '\'', '\' => '\'', '\' => '\\', '\' => '\\', ',' => ',', ',' => ',', ',' => ',', '.' => '.', '.' => '.', '"' => '"', '"' => '"', '"' => '"', '"' => '"', '`' => '`', '`' => '`', '`' => '`', '`' => '`', '.' => '.', '=' => '=', '=' => '=', '=' => '=', '&newline;' => "\n", '
' => "\n", ' ' => "\n", '&tab;' => "\t", '	' => "\n", '	' => "\n"); $entitiesTmp = get_html_translation_table(HTML_ENTITIES, $flags); $entitiesTmp = array_merge(self::$entitiesFallback, $entitiesTmp); $entities = array_merge($entitiesSecurity, array_map('strtolower', array_flip($entitiesTmp))); } $replace = array(); $matches = array_unique(array_map('strtolower', $matches[0])); foreach ($matches as $match) { $match .= ';'; if (array_key_exists($match, $entities) === true) { $replace[$match] = $entities[$match]; } } if (count($replace) > 0) { $str = str_ireplace(array_keys($replace), array_values($replace), $str); } } return $str; }