public function parse($fraktion_id, $wahlperiode_id)
{
$fraktion_id = IntVal($fraktion_id);
$wahlperiode_id = IntVal($wahlperiode_id);
if (SITE_CALL_MODE != "cron") {
echo "- Fraktion {$fraktion_id}\n";
}
$html_details = RISTools::load_file("http://www.ris-muenchen.de/RII/RII/ris_fraktionen_detail.jsp?risid={$fraktion_id}&periodeid={$wahlperiode_id}");
$daten = new Fraktion();
$daten->id = $fraktion_id;
if (preg_match("/introheadline\">(.*)<\\/h3/siU", $html_details, $matches)) {
var_dump($matches);
$daten->name = trim(str_replace(" ", " ", $matches[1]));
}
$aenderungen = "";
/** @var Fraktion $alter_eintrag */
$alter_eintrag = Fraktion::model()->findByPk($fraktion_id);
$changed = true;
if ($alter_eintrag) {
$changed = false;
if ($alter_eintrag->name != $daten->name) {
$aenderungen .= "Name: " . $alter_eintrag->name . " => " . $daten->name . "\n";
}
if ($aenderungen != "") {
$changed = true;
}
}
if ($changed) {
if ($aenderungen == "") {
$aenderungen = "Neu angelegt\n";
}
}
if ($alter_eintrag) {
$alter_eintrag->setAttributes($daten->getAttributes(), false);
if (!$alter_eintrag->save()) {
echo "Fraktion 1\n";
var_dump($alter_eintrag->getErrors());
die("Fehler");
}
$daten = $alter_eintrag;
} else {
if (!$daten->save()) {
echo "Fraktion 2\n";
var_dump($daten->getErrors());
die("Fehler");
}
}
if ($aenderungen != "") {
echo "Fraktion {$fraktion_id}: Verändert: " . $aenderungen . "\n";
}
if ($aenderungen != "") {
$aend = new RISAenderung();
$aend->ris_id = $daten->id;
$aend->ba_nr = null;
$aend->typ = RISAenderung::$TYP_STADTRAT_FRAKTION;
$aend->datum = new CDbExpression("NOW()");
$aend->aenderungen = $aenderungen;
$aend->save();
}
}
public function run($args)
{
for ($i = ord('A'); $i <= ord('Z'); $i++) {
$txt = RISTools::load_file('http://stadt-muenchen.net/strassen/index.php?name=' . chr($i));
$txt = explode("<table class='full' border='0'>", $txt);
$txt = explode("</table>", $txt[1]);
preg_match_all("/<tr><td>(.*)<\\/tr>/siuU", $txt[0], $matches);
foreach ($matches[1] as $match) {
$y = explode('</a></td><td>', $match);
$strassenname = preg_replace("/(s)tra(ß|ss)e\$/siu", "\\1tr.", trim(strip_tags($y[0])));
$plz = trim(strip_tags($y[1]));
$str = Strasse::model()->findByAttributes(["name" => $strassenname]);
if (!$str) {
echo "Neu: " . $plz . " - " . $strassenname . "\n";
$str = new Strasse();
$str->name = $strassenname;
$str->plz = $plz;
$str->osm_ref = 0;
if (!$str->save()) {
var_dump($str->getErrors());
}
}
}
}
}
public function parseAlle()
{
$text = RISTools::load_file("http://www.ris-muenchen.de/RII/RII/ris_referenten_trefferliste.jsp?nav=1");
$txt = explode("<!-- ergebnisreihen -->", $text);
$txt = explode("<div class=\"ergebnisfuss\">", $txt[1]);
preg_match_all("/ris_referenten_detail\\.jsp\\?risid=(?<id>[0-9]+)[\"'& ][^>]*>(?<name>[^<]+)<.*target=\"_blank\">(?<referat>[^<]+)</siU", $txt[0], $matches);
for ($i = 0; $i < count($matches["name"]); $i++) {
$name = trim($matches["name"][$i]);
$name = str_replace(" ", " ", $name);
$name = preg_replace("/ *(\n *)+/siu", "\n", $name);
$x = explode("\n", $name);
$y = explode(", ", $x[1]);
$name = trim($x[0]) . " " . trim($y[1]) . " " . trim($y[0]);
$id = IntVal($matches["id"][$i]);
$referat_name = $matches["referat"][$i];
/** @var StadtraetIn $str */
$str = StadtraetIn::model()->findByPk($id);
if ($str) {
if ($str->name != $name) {
RISTools::send_email(Yii::app()->params['adminEmail'], "ReferentIn Änderung", $str->name . " => " . $name, null, "system");
$str->name = $name;
$str->save();
}
} else {
$str = new StadtraetIn();
$str->name = $name;
$str->id = $id;
$str->referentIn = 1;
$str->save();
}
/** @var Referat $referat */
$referat = Referat::model()->findByAttributes(["name" => $referat_name]);
if (!$referat) {
RISTools::send_email(Yii::app()->params['adminEmail'], "Referat nicht gefunden", $referat_name, null, "system");
return;
}
$gefunden = false;
foreach ($str->stadtraetInnenReferate as $ref) {
if ($ref->referat_id == $referat->id) {
$gefunden = true;
}
}
if (!$gefunden) {
$zuo = new StadtraetInReferat();
$zuo->referat_id = $referat->id;
$zuo->stadtraetIn_id = $str->id;
$zuo->save();
RISTools::send_email(Yii::app()->params['adminEmail'], "Neue ReferentInnen/Referat-Zuordnung", $referat_name . " / " . $str->name, null, "system");
}
}
}
public static function parse_stadtrat_gremien($ris_id)
{
$ris_id = IntVal($ris_id);
echo "- Gremium {$ris_id}\n";
$html_details = RISTools::load_file("http://www.ris-muenchen.de/RII/RII/ris_gremien_detail.jsp?risid=" . $ris_id);
$daten = new Gremium();
$daten->id = $ris_id;
$daten->datum_letzte_aenderung = new CDbExpression('NOW()');
$daten->ba_nr = null;
if (preg_match("/introheadline\">([^>]+)<\\/h3/siU", $html_details, $matches)) {
$daten->name = $matches[1];
}
if (preg_match("/rzel:.*detail_div\">([^>]*)<\\//siU", $html_details, $matches)) {
$daten->kuerzel = $matches[1];
}
if (preg_match("/Gremientyp:.*detail_div\">([^>]*)<\\//siU", $html_details, $matches)) {
$daten->gremientyp = $matches[1];
}
if (preg_match("/Referat:.*detail_div\">([^>]*)<\\//siU", $html_details, $matches)) {
$daten->referat = $matches[1];
}
foreach ($daten as $key => $val) {
$daten[$key] = $val === null ? null : html_entity_decode(trim($val), ENT_COMPAT, "UTF-8");
}
$aenderungen = "";
/** @var Gremium $alter_eintrag */
$alter_eintrag = Gremium::model()->findByPk($ris_id);
$changed = true;
if ($alter_eintrag) {
$changed = false;
if ($alter_eintrag->name != $daten->name) {
$aenderungen .= "Name: " . $alter_eintrag->name . " => " . $daten->name . "\n";
}
if ($alter_eintrag->kuerzel != $daten->kuerzel) {
$aenderungen .= "Kürzel: " . $alter_eintrag->kuerzel . " => " . $daten->kuerzel . "\n";
}
if ($alter_eintrag->gremientyp != $daten->gremientyp) {
$aenderungen .= "Gremientyp: " . $alter_eintrag->gremientyp . " => " . $daten->gremientyp . "\n";
}
if ($alter_eintrag->referat != $daten->referat) {
$aenderungen .= "Referat: " . $alter_eintrag->referat . " => " . $daten->referat . "\n";
}
if ($aenderungen != "") {
$changed = true;
}
}
if ($changed) {
if ($alter_eintrag) {
$alter_eintrag->copyToHistory();
$alter_eintrag->setAttributes($daten->getAttributes());
if (!$alter_eintrag->save()) {
echo "Gremium 1";
var_dump($alter_eintrag->getErrors());
die("Fehler");
}
$daten = $alter_eintrag;
} else {
if (!$daten->save()) {
echo "Gremium 2";
var_dump($daten->getErrors());
die("Fehler");
}
}
$aend = new RISAenderung();
$aend->ris_id = $daten->id;
$aend->ba_nr = null;
$aend->typ = RISAenderung::$TYP_STADTRAT_GREMIUM;
$aend->datum = new CDbExpression("NOW()");
$aend->aenderungen = $aenderungen;
$aend->save();
}
}
public function parse($ba_nr)
{
$ba_nr = IntVal($ba_nr);
if (SITE_CALL_MODE != "cron") {
echo "- BA {$ba_nr}\n";
}
/** @var Bezirksausschuss $ba */
$ba = Bezirksausschuss::model()->findByPk($ba_nr);
$ba_details = RISTools::load_file("http://www.ris-muenchen.de/RII/BA-RII/ba_bezirksausschuesse_details.jsp?Id=" . $ba->ris_id);
preg_match("/Wahlperiode.*detail_div\">(?<wahlperiode>[^<]*)</siuU", $ba_details, $matches);
$wahlperiode = $matches["wahlperiode"];
$x = explode('<!-- tabellenkopf -->', $ba_details);
$x = explode('<!-- seitenfuss -->', $x[1]);
$gefundene_fraktionen = [];
preg_match_all("/ba_mitglieder_details_mitgliedschaft\\.jsp\\?Id=(?<mitglied_id>[0-9]+)&Wahlperiode=(?<wahlperiode>[0-9]+)[\"'& ]>(?<name>[^<]*)<.*tdborder\">(?<mitgliedschaft>[^<]*)<\\/td>.*tdborder[^>]*>(?<fraktion>[^<]*) *<\\/td>.*notdborder[^>]*>(?<funktion>[^<]*) *<\\/td.*<\\/tr/siU", $x[0], $matches);
for ($i = 0; $i < count($matches[1]); $i++) {
$fraktion_name = trim(html_entity_decode($matches["fraktion"][$i]));
$name = str_replace(" ", " ", $matches["name"][$i]);
$name = trim(str_replace(["Herr", "Frau"], [" ", " "], $name));
if ($fraktion_name == "") {
$fraktion_name = "Parteifrei";
}
/** @var StadtraetIn $strIn */
$strIn = StadtraetIn::model()->findByPk($matches["mitglied_id"][$i]);
if (!$strIn) {
echo "Neu anlegen: " . $matches["mitglied_id"][$i] . " - " . $name . " (" . $fraktion_name . ")\n";
$strIn = new StadtraetIn();
$strIn->name = $name;
$strIn->id = $matches["mitglied_id"][$i];
$strIn->referentIn = 0;
$x = explode(".", $matches["mitgliedschaft"][$i]);
$strIn->gewaehlt_am = $x[2] . "-" . $x[1] . "-" . $x[0];
$strIn->save();
}
/** @var Fraktion|null $fraktion */
$fraktion = Fraktion::model()->findByAttributes(["ba_nr" => $ba_nr, "name" => $fraktion_name]);
if (!$fraktion) {
echo "Lege an: " . $fraktion_name . "\n";
$min = Yii::app()->db->createCommand()->select("MIN(id)")->from("fraktionen")->queryColumn()[0] - 1;
if ($min > 0) {
$min = -1;
}
$fraktion = new Fraktion();
$fraktion->id = $min;
$fraktion->name = $fraktion_name;
$fraktion->ba_nr = $ba_nr;
$fraktion->save();
}
$gefunden = false;
foreach ($strIn->stadtraetInnenFraktionen as $strfrakt) {
if ($strfrakt->fraktion_id == $fraktion->id) {
$gefunden = true;
$von_pre = $strfrakt->datum_von;
$bis_pre = $strfrakt->datum_bis;
if (preg_match("/^von (?<von_tag>[0-9]+)\\.(?<von_monat>[0-9]+)\\.(?<von_jahr>[0-9]+) bis (?<bis_tag>[0-9]+)\\.(?<bis_monat>[0-9]+)\\.(?<bis_jahr>[0-9]+)\$/", $matches["mitgliedschaft"][$i], $mitgliedschaft_matches)) {
$strfrakt->datum_von = $mitgliedschaft_matches["von_jahr"] . "-" . $mitgliedschaft_matches["von_monat"] . "-" . $mitgliedschaft_matches["von_tag"];
$strfrakt->datum_bis = $mitgliedschaft_matches["bis_jahr"] . "-" . $mitgliedschaft_matches["bis_monat"] . "-" . $mitgliedschaft_matches["bis_tag"];
} elseif (preg_match("/^seit (?<von_tag>[0-9]+)\\.(?<von_monat>[0-9]+)\\.(?<von_jahr>[0-9]+)\$/", $matches["mitgliedschaft"][$i], $mitgliedschaft_matches)) {
$strfrakt->datum_von = $mitgliedschaft_matches["von_jahr"] . "-" . $mitgliedschaft_matches["von_monat"] . "-" . $mitgliedschaft_matches["von_tag"];
$strfrakt->datum_bis = null;
}
if ($von_pre != $strfrakt->datum_von || $bis_pre != $strfrakt->datum_bis) {
$strfrakt->save();
echo $strIn->getName() . ": " . $von_pre . "/" . $bis_pre . " => " . $strfrakt->datum_von . "/" . $strfrakt->datum_bis . "\n";
}
}
}
if (!$gefunden) {
$strfrakt = new StadtraetInFraktion();
$strfrakt->fraktion_id = $fraktion->id;
$strfrakt->stadtraetIn_id = $strIn->id;
$strfrakt->wahlperiode = $wahlperiode;
$strfrakt->mitgliedschaft = $matches["mitgliedschaft"][$i];
if (preg_match("/^von (?<von_tag>[0-9]+)\\.(?<von_monat>[0-9]+)\\.(?<von_jahr>[0-9]+) bis (?<bis_tag>[0-9]+)\\.(?<bis_monat>[0-9]+)\\.(?<bis_jahr>[0-9]+)\$/", $matches["mitgliedschaft"][$i], $mitgliedschaft_matches)) {
$strfrakt->datum_von = $mitgliedschaft_matches["von_jahr"] . "-" . $mitgliedschaft_matches["von_monat"] . "-" . $mitgliedschaft_matches["von_tag"];
$strfrakt->datum_bis = $mitgliedschaft_matches["bis_jahr"] . "-" . $mitgliedschaft_matches["bis_monat"] . "-" . $mitgliedschaft_matches["bis_tag"];
} elseif (preg_match("/^seit (?<von_tag>[0-9]+)\\.(?<von_monat>[0-9]+)\\.(?<von_jahr>[0-9]+)\$/", $matches["mitgliedschaft"][$i], $mitgliedschaft_matches)) {
$strfrakt->datum_von = $mitgliedschaft_matches["von_jahr"] . "-" . $mitgliedschaft_matches["von_monat"] . "-" . $mitgliedschaft_matches["von_tag"];
$strfrakt->datum_bis = null;
}
$strfrakt->save();
}
if (!isset($gefundene_fraktionen[$matches["mitglied_id"][$i]])) {
$gefundene_fraktionen[$matches["mitglied_id"][$i]] = [];
}
$gefundene_fraktionen[$matches["mitglied_id"][$i]][] = $fraktion->id;
}
foreach ($gefundene_fraktionen as $strIn => $fraktionen) {
//SELECT a.* FROM `fraktionen` a JOIN stadtraetInnen_fraktionen b ON a.id = b.fraktion_id WHERE b.stadtraetIn_id = 3314069 AND a.ba_nr = 18 AND b.fraktion_id NOT IN (-88)
$sql = 'DELETE FROM b USING `fraktionen` a JOIN `stadtraetInnen_fraktionen` b ON a.id = b.fraktion_id WHERE ';
$frakts = implode(", ", array_map('IntVal', $fraktionen));
$sql .= 'b.stadtraetIn_id = ' . IntVal($strIn) . ' AND a.ba_nr = ' . IntVal($ba_nr) . ' AND b.fraktion_id NOT IN (' . $frakts . ')';
if (Yii::app()->db->createCommand($sql)->execute() > 0) {
echo 'Fraktionen gelöscht bei: ' . $strIn . "\n";
}
}
}
public function parseSeite($seite, $first)
{
$text = RISTools::load_file("http://www.ris-muenchen.de/RII/RII/ris_mitglieder_trefferliste.jsp?txtPosition={$seite}");
$txt = explode("<!-- tabellenkopf -->", $text);
if (!isset($txt[1])) {
if (SITE_CALL_MODE != "cron") {
echo "- leer\n";
}
return [];
} elseif ($first) {
RISTools::send_email(Yii::app()->params['adminEmail'], "StadträTinnenUpdate VOLL", "Erste Seite voll: {$seite}", null, "system");
}
$txt = explode("<div class=\"ergebnisfuss\">", $txt[1]);
preg_match_all("/ris_mitglieder_detail\\.jsp\\?risid=([0-9]+)[\"'& ]/siU", $txt[0], $matches);
for ($i = count($matches[1]) - 1; $i >= 0; $i--) {
if (!in_array($matches[1][$i], $this->bearbeitete_stadtraetInnen)) {
try {
$this->parse($matches[1][$i]);
} catch (Exception $e) {
RISTools::send_email(Yii::app()->params['adminEmail'], "StadträTinnenUpdate Error", $matches[1][$i] . $e, null, "system");
}
$this->bearbeitete_stadtraetInnen[] = $matches[1][$i];
}
}
return $matches[1];
}
public function parseSeite($seite, $first)
{
if (SITE_CALL_MODE != "cron") {
echo "BA-Initiativen Seite {$seite}\n";
}
$text = RISTools::load_file("http://www.ris-muenchen.de/RII/BA-RII/ba_initiativen.jsp?Trf=n&Start={$seite}");
$txt = explode("<!-- tabellenkopf -->", $text);
$txt = explode("<div class=\"ergebnisfuss\">", $txt[1]);
preg_match_all("/ba_initiativen_details\\.jsp\\?Id=([0-9]+)[\"'& ]/siU", $txt[0], $matches);
if ($first && count($matches[1]) > 0) {
RISTools::send_email(Yii::app()->params['adminEmail'], "BA-Initiativen VOLL", "Erste Seite voll: {$seite}", null, "system");
}
for ($i = count($matches[1]) - 1; $i >= 0; $i--) {
try {
$this->parse($matches[1][$i]);
} catch (Exception $e) {
echo " EXCEPTION! " . $e . "\n";
}
}
return $matches[1];
}
public function parseSeite($seite, $first)
{
if (SITE_CALL_MODE != "cron") {
echo "BA-Gremien Seite {$seite}\n";
}
$text = RISTools::load_file("http://www.ris-muenchen.de/RII/BA-RII/ba_gremien.jsp?selWahlperiode=" . static::$WAHLPERIODE_ID . "&Trf=n&Start={$seite}");
$txt = explode("<!-- tabellenkopf -->", $text);
$txt = explode("<div class=\"ergebnisfuss\">", $txt[1]);
preg_match_all("/ba_gremien_details\\.jsp\\?Id=(?<id>[0-9]+)[\"'& ]/siU", $txt[0], $matches);
if ($first && count($matches[1]) > 0) {
RISTools::send_email(Yii::app()->params['adminEmail'], "BA-Gremien VOLL", "Erste Seite voll: {$seite}", null, "system");
}
for ($i = count($matches[1]) - 1; $i >= 0; $i--) {
$this->parse($matches[1][$i], static::$WAHLPERIODE_ID);
}
return $matches[1];
}
public function parseSeite($seite, $alle = false)
{
if (SITE_CALL_MODE != "cron") {
echo "BA-Termin Seite {$seite}\n";
}
$add = $alle ? "" : "&txtVon=" . date("d.m.Y", time() - 24 * 3600 * 180) . "&txtBis=" . date("d.m.Y", time() + 24 * 3600 * 356 * 2);
$text = RISTools::load_file("http://www.ris-muenchen.de/RII/BA-RII/ba_sitzungen.jsp?Start={$seite}" . $add);
$txt = explode("<table class=\"ergebnistab\" ", $text);
if (count($txt) == 1) {
return;
}
$txt = explode("<!-- tabellenfuss", $txt[1]);
preg_match_all("/ba_sitzungen_details\\.jsp\\?Id=([0-9]+)[\"'& ]/siU", $txt[0], $matches);
for ($i = count($matches[1]) - 1; $i >= 0; $i--) {
$this->parse($matches[1][$i]);
}
sleep(5);
// Scheint ziemlich aufwändig auf der RIS-Seite zu sein, mal lieber nicht überlasten :)
}
public function parseSeite($seite, $first)
{
$text = RISTools::load_file("http://www.ris-muenchen.de/RII/RII/ris_antrag_trefferliste.jsp?txtPosition={$seite}");
$txt = explode("<!-- ergebnisreihen -->", $text);
if (!isset($txt[1])) {
if (SITE_CALL_MODE != "cron") {
echo "- nichts\n";
}
return [];
}
$txt = explode("<div class=\"ergebnisfuss\">", $txt[1]);
preg_match_all("/ris_antrag_detail.jsp\\?risid=([0-9]+)[\"'& ]/siU", $txt[0], $matches);
if ($first && count($matches[1]) > 0) {
RISTools::send_email(Yii::app()->params['adminEmail'], "Stadtratsantrag VOLL", "Erste Seite voll: {$seite}", null, "system");
}
for ($i = count($matches[1]) - 1; $i >= 0; $i--) {
try {
$this->parse($matches[1][$i]);
} catch (Exception $e) {
echo " EXCEPTION! " . $e . "\n";
}
}
return $matches[1];
}
public function parseSeite($seite, $first, $alle = false)
{
$add = $alle ? "" : "&txtVon=" . date("d.m.Y", time() - 24 * 3600 * 180) . "&txtBis=" . date("d.m.Y", time() + 24 * 3600 * 356 * 2);
$text = RISTools::load_file("http://www.ris-muenchen.de/RII/RII/ris_sitzung_trefferliste.jsp?txtPosition={$seite}" . $add);
$txt = explode("<!-- ergebnistabellen-bereich -->", $text);
if ($seite > 4790 && count($txt) == 1) {
return;
}
if (count($txt) == 1) {
var_dump($txt);
}
$txt = explode("<!-- tabellenfuss", $txt[1]);
preg_match_all("/ris_sitzung_detail\\.jsp\\?risid=([0-9]+)[\"'& ]/siU", $txt[0], $matches);
if ($first && count($matches[1]) > 0) {
RISTools::send_email(Yii::app()->params['adminEmail'], "Stadtratstermin VOLL", "Erste Seite voll: {$seite}", null, "system");
}
for ($i = count($matches[1]) - 1; $i >= 0; $i--) {
$this->parse($matches[1][$i]);
}
sleep(5);
// Scheint ziemlich aufwändig auf der RIS-Seite zu sein, mal lieber nicht überlasten :)
}
