function recuperer_lapage($url, $trans = false, $get = 'GET', $taille_max = _INC_DISTANT_MAX_SIZE, $datas = '', $refuser_gz = false, $date_verif = '', $uri_referer = '')
{
// $copy = copier le fichier ?
$copy = (is_string($trans) and strlen($trans) > 5);
// eviter "false" :-)
// si on ecrit directement dans un fichier, pour ne pas manipuler
// en memoire refuser gz
if ($copy) {
$refuser_gz = true;
}
// ouvrir la connexion et envoyer la requete et ses en-tetes
list($f, $fopen) = init_http($get, $url, $refuser_gz, $uri_referer, $datas, _INC_DISTANT_VERSION_HTTP, $date_verif);
if (!$f) {
spip_log("ECHEC init_http {$url}");
return false;
}
// Sauf en fopen, envoyer le flux d'entree
// et recuperer les en-tetes de reponses
if ($fopen) {
$headers = '';
} else {
$headers = recuperer_entetes($f, $date_verif);
if (is_numeric($headers)) {
fclose($f);
// Chinoisierie inexplicable pour contrer
// les actions liberticides de l'empire du milieu
if ($headers) {
spip_log("HTTP status {$headers} pour {$url}");
return false;
} elseif ($result = @file_get_contents($url)) {
return array('', $result);
} else {
return false;
}
}
if (!is_array($headers)) {
// cas Location
fclose($f);
include_spip('inc/filtres');
return suivre_lien($url, $headers);
}
$headers = join('', $headers);
}
if ($trans === NULL) {
return array($headers, '');
}
// s'il faut deballer, le faire via un fichier temporaire
// sinon la memoire explose pour les gros flux
$gz = preg_match(",\\bContent-Encoding: .*gzip,is", $headers) ? _DIR_TMP . md5(uniqid(mt_rand())) . '.tmp.gz' : '';
# spip_log("entete ($trans $copy $gz)\n$headers");
$result = recuperer_body($f, $taille_max, $gz ? $gz : ($copy ? $trans : ''));
fclose($f);
if (!$result) {
return array($headers, $result);
}
// Decompresser au besoin
if ($gz) {
$result = join('', gzfile($gz));
supprimer_fichier($gz);
}
// Faut-il l'importer dans notre charset local ?
if ($trans === true) {
include_spip('inc/charsets');
$result = transcoder_page($result, $headers);
}
return array($headers, $result);
}
function public_compiler_dist($squelette, $nom, $gram, $sourcefile, $connect = '')
{
// Pre-traitement : reperer le charset du squelette, et le convertir
// Bonus : supprime le BOM
include_spip('inc/charsets');
$squelette = transcoder_page($squelette);
// rendre inertes les echappements de #[](){}<>
$i = 0;
while (false !== strpos($squelette, $inerte = '-INERTE' . $i)) {
$i++;
}
$squelette = preg_replace_callback(',\\\\([#[()\\]{}<>]),', create_function('$a', "return '{$inerte}-'.ord(\$a[1]).'-';"), $squelette, -1, $esc);
$descr = array('nom' => $nom, 'gram' => $gram, 'sourcefile' => $sourcefile, 'squelette' => $squelette);
// Phraser le squelette, selon sa grammaire
$boucles = array();
$f = charger_fonction('phraser_' . $gram, 'public');
$squelette = $f($squelette, '', $boucles, $descr);
$boucles = compiler_squelette($squelette, $boucles, $nom, $descr, $sourcefile, $connect);
// restituer les echappements
if ($esc) {
foreach ($boucles as $i => $boucle) {
$boucles[$i]->return = preg_replace_callback(",{$inerte}-(\\d+)-,", create_function('$a', 'return chr($a[1]);'), $boucle->return);
$boucles[$i]->descr['squelette'] = preg_replace_callback(",{$inerte}-(\\d+)-,", create_function('$a', 'return "\\\\".chr($a[1]);'), $boucle->descr['squelette']);
}
}
$debug = ($boucles and defined('_VAR_MODE') and _VAR_MODE == 'debug');
if ($debug) {
include_spip('public/decompiler');
foreach ($boucles as $id => $boucle) {
if ($id) {
$decomp = "\n/* BOUCLE " . $boucle->type_requete . " " . str_replace('*/', '* /', public_decompiler($boucle, $gram, 0, 'criteres')) . " */\n";
} else {
$decomp = "\n/*\n" . str_replace('*/', '* /', public_decompiler($squelette, $gram)) . "\n*/";
}
$boucles[$id]->return = $decomp . $boucle->return;
$GLOBALS['debug_objets']['code'][$nom . $id] = $boucle->return;
}
}
return $boucles;
}
/**
* Récupère le contenu d'une URL
* au besoin encode son contenu dans le charset local
*
* @uses init_http()
* @uses recuperer_entetes()
* @uses recuperer_body()
* @uses transcoder_page()
*
* @param string $url
* @param array $options
* bool transcoder : true si on veut transcoder la page dans le charset du site
* string methode : Type de requête HTTP à faire (HEAD, GET ou POST)
* int taille_max : Arrêter le contenu au-delà (0 = seulement les entetes ==> requête HEAD). Par defaut taille_max = 1Mo ou 16Mo si copie dans un fichier
* string|array datas : Pour faire un POST de données (force la methode POST si non vide)
* string boundary : boundary pour formater les datas au format array
* bool refuser_gz : Pour forcer le refus de la compression (cas des serveurs orthographiques)
* int if_modified_since : Un timestamp unix pour arrêter la récuperation si la page distante n'a pas été modifiée depuis une date donnée
* string uri_referer : Pour préciser un référer différent
* string file : nom du fichier dans lequel copier le contenu
* int follow_location : nombre de redirections a suivre (0 pour ne rien suivre)
* string version_http : version du protocole HTTP a utiliser (par defaut defini par la constante _INC_DISTANT_VERSION_HTTP)
* @return array|bool
* false si echec
* array sinon :
* int status : le status de la page
* string headers : les entetes de la page
* string page : le contenu de la page (vide si copie dans un fichier)
* int last_modified : timestamp de derniere modification
* string location : url de redirection envoyee par la page
* string url : url reelle de la page recuperee
* int length : taille du contenu ou du fichier
*
* string file : nom du fichier si enregistre dans un fichier
*/
function recuperer_url($url, $options = array())
{
$default = array('transcoder' => false, 'methode' => 'GET', 'taille_max' => null, 'datas' => '', 'boundary' => '', 'refuser_gz' => false, 'if_modified_since' => '', 'uri_referer' => '', 'file' => '', 'follow_location' => 10, 'version_http' => _INC_DISTANT_VERSION_HTTP);
$options = array_merge($default, $options);
// copier directement dans un fichier ?
$copy = $options['file'];
if ($options['methode'] == "HEAD") {
$options['taille_max'] = 0;
}
if (is_null($options['taille_max'])) {
$options['taille_max'] = $copy ? _COPIE_LOCALE_MAX_SIZE : _INC_DISTANT_MAX_SIZE;
}
if (!empty($options['datas'])) {
$options['methode'] = 'POST';
list($head, $postdata) = prepare_donnees_post($options['datas'], $options['boundary']);
if (stripos($head, "Content-Length:") === false) {
$head .= 'Content-Length: ' . strlen($postdata);
}
$options['datas'] = $head . "\r\n\r\n" . $postdata;
}
// Accepter les URLs au format feed:// ou qui ont oublie le http:// ou les urls relatives au protocole
$url = preg_replace(',^feed://,i', 'http://', $url);
if (!tester_url_absolue($url)) {
$url = 'http://' . $url;
} elseif (strncmp($url, "//", 2) == 0) {
$url = 'http:' . $url;
}
$result = array('status' => 0, 'headers' => '', 'page' => '', 'length' => 0, 'last_modified' => '', 'location' => '', 'url' => $url);
// si on ecrit directement dans un fichier, pour ne pas manipuler en memoire refuser gz
$refuser_gz = ($options['refuser_gz'] or $copy) ? true : false;
// ouvrir la connexion et envoyer la requete et ses en-tetes
list($handle, $fopen) = init_http($options['methode'], $url, $refuser_gz, $options['uri_referer'], $options['datas'], $options['version_http'], $options['if_modified_since']);
if (!$handle) {
spip_log("ECHEC init_http {$url}");
return false;
}
// Sauf en fopen, envoyer le flux d'entree
// et recuperer les en-tetes de reponses
if (!$fopen) {
$res = recuperer_entetes_complets($handle, $options['if_modified_since']);
if (!$res) {
fclose($handle);
$t = @parse_url($url);
$host = $t['host'];
// Chinoisierie inexplicable pour contrer
// les actions liberticides de l'empire du milieu
if (!need_proxy($host) and $res = @file_get_contents($url)) {
$result['length'] = strlen($res);
if ($copy) {
ecrire_fichier($copy, $res);
$result['file'] = $copy;
} else {
$result['page'] = $res;
}
$res = array('status' => 200);
} else {
return false;
}
} elseif ($res['location'] and $options['follow_location']) {
$options['follow_location']--;
fclose($handle);
include_spip('inc/filtres');
$url = suivre_lien($url, $res['location']);
spip_log("recuperer_url recommence sur {$url}");
return recuperer_url($url, $options);
} elseif ($res['status'] !== 200) {
spip_log("HTTP status " . $res['status'] . " pour {$url}");
}
$result['status'] = $res['status'];
if (isset($res['headers'])) {
$result['headers'] = $res['headers'];
}
if (isset($res['last_modified'])) {
$result['last_modified'] = $res['last_modified'];
}
if (isset($res['location'])) {
$result['location'] = $res['location'];
}
}
// on ne veut que les entetes
if (!$options['taille_max'] or $options['methode'] == 'HEAD' or $result['status'] == "304") {
return $result;
}
// s'il faut deballer, le faire via un fichier temporaire
// sinon la memoire explose pour les gros flux
$gz = false;
if (preg_match(",\\bContent-Encoding: .*gzip,is", $result['headers'])) {
$gz = _DIR_TMP . md5(uniqid(mt_rand())) . '.tmp.gz';
}
// si on a pas deja recuperer le contenu par une methode detournee
if (!$result['length']) {
$res = recuperer_body($handle, $options['taille_max'], $gz ? $gz : $copy);
fclose($handle);
if ($copy) {
$result['length'] = $res;
$result['file'] = $copy;
} elseif ($res) {
$result['page'] =& $res;
$result['length'] = strlen($result['page']);
}
}
if (!$result['page']) {
return $result;
}
// Decompresser au besoin
if ($gz) {
$result['page'] = implode('', gzfile($gz));
supprimer_fichier($gz);
}
// Faut-il l'importer dans notre charset local ?
if ($options['transcoder']) {
include_spip('inc/charsets');
$result['page'] = transcoder_page($result['page'], $result['headers']);
}
return $result;
}
function public_compiler_dist($squelette, $nom, $gram, $sourcefile, $connect = ''){
// Pre-traitement : reperer le charset du squelette, et le convertir
// Bonus : supprime le BOM
include_spip('inc/charsets');
$squelette = transcoder_page($squelette);
$descr = array('nom' => $nom,
'gram' => $gram,
'sourcefile' => $sourcefile,
'squelette' => $squelette);
// Phraser le squelette, selon sa grammaire
$boucles = array();
$f = charger_fonction('phraser_' . $gram, 'public');
$squelette = $f($squelette, '', $boucles, $descr);
return compiler_squelette($squelette, $boucles, $nom, $descr, $sourcefile, $connect);
}
