/**
* Récupère le contenu d'une URL
* au besoin encode son contenu dans le charset local
*
* @uses init_http()
* @uses recuperer_entetes()
* @uses recuperer_body()
* @uses transcoder_page()
*
* @param string $url
* @param array $options
* bool transcoder : true si on veut transcoder la page dans le charset du site
* string methode : Type de requête HTTP à faire (HEAD, GET ou POST)
* int taille_max : Arrêter le contenu au-delà (0 = seulement les entetes ==> requête HEAD). Par defaut taille_max = 1Mo ou 16Mo si copie dans un fichier
* string|array datas : Pour faire un POST de données (force la methode POST si non vide)
* string boundary : boundary pour formater les datas au format array
* bool refuser_gz : Pour forcer le refus de la compression (cas des serveurs orthographiques)
* int if_modified_since : Un timestamp unix pour arrêter la récuperation si la page distante n'a pas été modifiée depuis une date donnée
* string uri_referer : Pour préciser un référer différent
* string file : nom du fichier dans lequel copier le contenu
* int follow_location : nombre de redirections a suivre (0 pour ne rien suivre)
* string version_http : version du protocole HTTP a utiliser (par defaut defini par la constante _INC_DISTANT_VERSION_HTTP)
* @return array|bool
* false si echec
* array sinon :
* int status : le status de la page
* string headers : les entetes de la page
* string page : le contenu de la page (vide si copie dans un fichier)
* int last_modified : timestamp de derniere modification
* string location : url de redirection envoyee par la page
* string url : url reelle de la page recuperee
* int length : taille du contenu ou du fichier
*
* string file : nom du fichier si enregistre dans un fichier
*/
function recuperer_url($url, $options = array())
{
$default = array('transcoder' => false, 'methode' => 'GET', 'taille_max' => null, 'datas' => '', 'boundary' => '', 'refuser_gz' => false, 'if_modified_since' => '', 'uri_referer' => '', 'file' => '', 'follow_location' => 10, 'version_http' => _INC_DISTANT_VERSION_HTTP);
$options = array_merge($default, $options);
// copier directement dans un fichier ?
$copy = $options['file'];
if ($options['methode'] == "HEAD") {
$options['taille_max'] = 0;
}
if (is_null($options['taille_max'])) {
$options['taille_max'] = $copy ? _COPIE_LOCALE_MAX_SIZE : _INC_DISTANT_MAX_SIZE;
}
if (!empty($options['datas'])) {
$options['methode'] = 'POST';
list($head, $postdata) = prepare_donnees_post($options['datas'], $options['boundary']);
if (stripos($head, "Content-Length:") === false) {
$head .= 'Content-Length: ' . strlen($postdata);
}
$options['datas'] = $head . "\r\n\r\n" . $postdata;
}
// Accepter les URLs au format feed:// ou qui ont oublie le http:// ou les urls relatives au protocole
$url = preg_replace(',^feed://,i', 'http://', $url);
if (!tester_url_absolue($url)) {
$url = 'http://' . $url;
} elseif (strncmp($url, "//", 2) == 0) {
$url = 'http:' . $url;
}
$result = array('status' => 0, 'headers' => '', 'page' => '', 'length' => 0, 'last_modified' => '', 'location' => '', 'url' => $url);
// si on ecrit directement dans un fichier, pour ne pas manipuler en memoire refuser gz
$refuser_gz = ($options['refuser_gz'] or $copy) ? true : false;
// ouvrir la connexion et envoyer la requete et ses en-tetes
list($handle, $fopen) = init_http($options['methode'], $url, $refuser_gz, $options['uri_referer'], $options['datas'], $options['version_http'], $options['if_modified_since']);
if (!$handle) {
spip_log("ECHEC init_http {$url}");
return false;
}
// Sauf en fopen, envoyer le flux d'entree
// et recuperer les en-tetes de reponses
if (!$fopen) {
$res = recuperer_entetes_complets($handle, $options['if_modified_since']);
if (!$res) {
fclose($handle);
$t = @parse_url($url);
$host = $t['host'];
// Chinoisierie inexplicable pour contrer
// les actions liberticides de l'empire du milieu
if (!need_proxy($host) and $res = @file_get_contents($url)) {
$result['length'] = strlen($res);
if ($copy) {
ecrire_fichier($copy, $res);
$result['file'] = $copy;
} else {
$result['page'] = $res;
}
$res = array('status' => 200);
} else {
return false;
}
} elseif ($res['location'] and $options['follow_location']) {
$options['follow_location']--;
fclose($handle);
include_spip('inc/filtres');
$url = suivre_lien($url, $res['location']);
spip_log("recuperer_url recommence sur {$url}");
return recuperer_url($url, $options);
} elseif ($res['status'] !== 200) {
spip_log("HTTP status " . $res['status'] . " pour {$url}");
}
$result['status'] = $res['status'];
if (isset($res['headers'])) {
$result['headers'] = $res['headers'];
}
if (isset($res['last_modified'])) {
$result['last_modified'] = $res['last_modified'];
}
if (isset($res['location'])) {
$result['location'] = $res['location'];
}
}
// on ne veut que les entetes
if (!$options['taille_max'] or $options['methode'] == 'HEAD' or $result['status'] == "304") {
return $result;
}
// s'il faut deballer, le faire via un fichier temporaire
// sinon la memoire explose pour les gros flux
$gz = false;
if (preg_match(",\\bContent-Encoding: .*gzip,is", $result['headers'])) {
$gz = _DIR_TMP . md5(uniqid(mt_rand())) . '.tmp.gz';
}
// si on a pas deja recuperer le contenu par une methode detournee
if (!$result['length']) {
$res = recuperer_body($handle, $options['taille_max'], $gz ? $gz : $copy);
fclose($handle);
if ($copy) {
$result['length'] = $res;
$result['file'] = $copy;
} elseif ($res) {
$result['page'] =& $res;
$result['length'] = strlen($result['page']);
}
}
if (!$result['page']) {
return $result;
}
// Decompresser au besoin
if ($gz) {
$result['page'] = implode('', gzfile($gz));
supprimer_fichier($gz);
}
// Faut-il l'importer dans notre charset local ?
if ($options['transcoder']) {
include_spip('inc/charsets');
$result['page'] = transcoder_page($result['page'], $result['headers']);
}
return $result;
}
function recuperer_lapage($url, $trans = false, $get = 'GET', $taille_max = _INC_DISTANT_MAX_SIZE, $datas = '', $refuser_gz = false, $date_verif = '', $uri_referer = '')
{
// $copy = copier le fichier ?
$copy = (is_string($trans) and strlen($trans) > 5);
// eviter "false" :-)
// si on ecrit directement dans un fichier, pour ne pas manipuler
// en memoire refuser gz
if ($copy) {
$refuser_gz = true;
}
// ouvrir la connexion et envoyer la requete et ses en-tetes
list($f, $fopen) = init_http($get, $url, $refuser_gz, $uri_referer, $datas, _INC_DISTANT_VERSION_HTTP, $date_verif);
if (!$f) {
spip_log("ECHEC init_http {$url}");
return false;
}
// Sauf en fopen, envoyer le flux d'entree
// et recuperer les en-tetes de reponses
if ($fopen) {
$headers = '';
} else {
$headers = recuperer_entetes($f, $date_verif);
if (is_numeric($headers)) {
fclose($f);
// Chinoisierie inexplicable pour contrer
// les actions liberticides de l'empire du milieu
if ($headers) {
spip_log("HTTP status {$headers} pour {$url}");
return false;
} elseif ($result = @file_get_contents($url)) {
return array('', $result);
} else {
return false;
}
}
if (!is_array($headers)) {
// cas Location
fclose($f);
include_spip('inc/filtres');
return suivre_lien($url, $headers);
}
$headers = join('', $headers);
}
if ($trans === NULL) {
return array($headers, '');
}
// s'il faut deballer, le faire via un fichier temporaire
// sinon la memoire explose pour les gros flux
$gz = preg_match(",\\bContent-Encoding: .*gzip,is", $headers) ? _DIR_TMP . md5(uniqid(mt_rand())) . '.tmp.gz' : '';
# spip_log("entete ($trans $copy $gz)\n$headers");
$result = recuperer_body($f, $taille_max, $gz ? $gz : ($copy ? $trans : ''));
fclose($f);
if (!$result) {
return array($headers, $result);
}
// Decompresser au besoin
if ($gz) {
$result = join('', gzfile($gz));
supprimer_fichier($gz);
}
// Faut-il l'importer dans notre charset local ?
if ($trans === true) {
include_spip('inc/charsets');
$result = transcoder_page($result, $headers);
}
return array($headers, $result);
}
function recuperer_page($url) {
// Accepter les URLs au format feed:// ou qui ont oublie le http://
$url = preg_replace(',^feed://,i', 'http://', $url);
if (!preg_match(',^[a-z]+://,i', $url)) {
$url = 'http://'.$url;
}
// dix tentatives maximum en cas d'entetes 301...
for ($i = 0; $i < 10; $i++) {
list($f, $fopen) = init_http('GET', $url);
// si on a utilise fopen() - passer a la suite
if ($fopen) {
break;
} else {
// Fin des entetes envoyees par SPIP
fputs($f, "\r\n");
// Reponse du serveur distant
$s = trim(fgets($f, 16384));
if (preg_match(',^HTTP/[0-9]+\.[0-9]+ ([0-9]+),', $s, $r)) {
$status = $r[1];
} else {
return;
}
// Entetes HTTP de la page
$headers = '';
while ($s = trim(fgets($f, 16384))) {
$headers .= $s."\n";
if (preg_match(',^Location: (.*),i', $s, $r)) {
$location = $r[1];
}
if (preg_match(",^Content-Encoding: .*gzip,i", $s)) {
$gz = true;
}
}
if ($status >= 300 and $status < 400 and $location) {
$url = $location;
} elseif ($status != 200) {
return;
} else {
break; # ici on est content
}
fclose($f);
$f = false;
}
}
// Contenu de la page
if (!$f) {
return false;
}
$result = '';
while (!feof($f)) {
$result .= fread($f, 16384);
}
fclose($f);
// Decompresser le flux
if (isset($_GET['gz']) and $gz = $_GET['gz']) {
$result = gzinflate(substr($result, 10));
}
return $result;
}