PHP _reviseUrl Beispiele

Beispiel #1

Datei: index.php Projekt: qigge/Spider

/**
 * 爬虫
 * @param  string $url 
 * @return array  
 */
function spider($url)
{
    $html = _getHtmlFromUrl($url);
    if ($html) {
        $url_list = _reviseUrl($url, _filterUrl($html));
        if ($url_list) {
            return $url_list;
        } else {
            return;
        }
    } else {
        return;
    }
}

Beispiel #2

Datei: crawler.php Projekt: happyer-lwl/DreamShipServer

/**
 * 爬虫
 * 
 * @param string $url 
 * @return array 
 */
function crawler($url)
{
    $content = _getUrlContent($url);
    if ($content) {
        $url_list = _reviseUrl($url, _filterUrl($content));
        if ($url_list) {
            return $url_list;
        } else {
            return;
        }
    } else {
        return;
    }
}

Beispiel #3

Datei: crawler.php Projekt: AkihiJef/rookie_search_engine

function crawler($id, $url)
{
    $content = _curl_get_file_contents($url);
    _save($id, $url, $content);
    if ($content) {
        $url_list = _reviseUrl($url, _filterUrl($content));
        if ($url_list) {
            return $url_list;
        } else {
            return;
        }
    } else {
        return;
    }
}