public function run($args) { $parser = new StadtratTerminParser(); $parser->parseAlle(); $parser = new StadtratsantragParser(); $parser->parseAlle(); $parser = new StadtratsvorlageParser(); $parser->parseAlle(); }
public function run($args) { $parser = new StadtratsantragParser(); if (isset($args[0]) && $args[0] > 0) { $parser->parse($args[0]); } elseif (isset($args[0]) && $args[0] == "alle") { $parser->parseAlle(); } else { echo "./yiic update_stadtratsantrag [id|alle]\n"; } }
public function run($args) { if (count($args) == 0) { die("./yii reindex_stadtrat_antrag [Antrags-ID|alle]\n"); } $parser = new StadtratsantragParser(); if ($args[0] == "ohnereferat") { /** @var Antrag[] $antraege */ $antraege = Antrag::model()->findAllByAttributes(["typ" => Antrag::$TYP_STADTRAT_ANTRAG, "referat_id" => null]); foreach ($antraege as $antrag) { $parser->parse($antrag->id); } } elseif ($args[0] == "alle") { $parser->parseAlle(); } else { $parser->parse($args[0]); /** @var Antrag $a */ $a = Antrag::model()->findByPk($args[0]); $a->resetPersonen(); } }
public function run($args) { echo "Gestartet: " . date("Y-m-d H:i:s") . "\n"; try { $parser = new ReferentInnenParser(); $parser->parseQuickUpdate(); echo "Done ReferentInnen: " . date("Y-m-d H:i:s") . "\n"; } catch (Exception $e) { RISTools::send_email(Yii::app()->params['adminEmail'], "RIS Exception ReferentIn", print_r($e, true), null, "system"); } try { $parser = new StadtratTerminParser(); $parser->parseQuickUpdate(); echo "Done Termine: " . date("Y-m-d H:i:s") . "\n"; } catch (Exception $e) { RISTools::send_email(Yii::app()->params['adminEmail'], "RIS Exception Stadtrattermin", print_r($e, true), null, "system"); } try { $parser = new StadtratsvorlageParser(); $parser->parseQuickUpdate(); echo "Done Vorlagen: " . date("Y-m-d H:i:s") . "\n"; } catch (Exception $e) { RISTools::send_email(Yii::app()->params['adminEmail'], "RIS Exception Vorlagen", print_r($e, true), null, "system"); } try { $parser = new StadtratsantragParser(); $parser->parseQuickUpdate(); echo "Done Stadtratsanträge: " . date("Y-m-d H:i:s") . "\n"; } catch (Exception $e) { RISTools::send_email(Yii::app()->params['adminEmail'], "RIS Exception StR-Anträge", print_r($e, true), null, "system"); } try { $parser = new StadtraetInnenParser(); //$parser->setParseAlleAntraege(true); $parser->parseQuickUpdate(); echo "Done StadträtInnen: " . date("Y-m-d H:i:s") . "\n"; } catch (Exception $e) { RISTools::send_email(Yii::app()->params['adminEmail'], "RIS Exception StadträtInnen", print_r($e, true), null, "system"); } try { $parser = new BATerminParser(); $parser->parseQuickUpdate(); echo "Done BA Termine: " . date("Y-m-d H:i:s") . "\n"; } catch (Exception $e) { RISTools::send_email(Yii::app()->params['adminEmail'], "RIS Exception BA-Termine", print_r($e, true), null, "system"); } try { $parser = new BAInitiativeParser(); $parser->parseQuickUpdate(); echo "Done BA Initiative: " . date("Y-m-d H:i:s") . "\n"; } catch (Exception $e) { RISTools::send_email(Yii::app()->params['adminEmail'], "RIS Exception BA-Initiative", print_r($e, true), null, "system"); } try { $parser = new BAAntragParser(); $parser->parseQuickUpdate(); echo "Done BA Anträge: " . date("Y-m-d H:i:s") . "\n"; } catch (Exception $e) { RISTools::send_email(Yii::app()->params['adminEmail'], "RIS Exception BA-Anträge", print_r($e, true), null, "system"); } RISMetadaten::setzeLetzteAktualisierung(date("Y-m-d H:i:s")); RISMetadaten::recalcStats(); echo "Done: " . date("Y-m-d H:i:s") . "\n"; }
public function parse($vorlage_id) { if (SITE_CALL_MODE != "cron") { echo "- Beschlussvorlage {$vorlage_id}\n"; } $html_details = RISTools::load_file("http://www.ris-muenchen.de/RII/RII/ris_vorlagen_detail.jsp?risid=" . $vorlage_id); $html_dokumente = RISTools::load_file("http://www.ris-muenchen.de/RII/RII/ris_vorlagen_dokumente.jsp?risid=" . $vorlage_id); $html_ergebnisse = RISTools::load_file("http://www.ris-muenchen.de/RII/RII/ris_vorlagen_ergebnisse.jsp?risid=" . $vorlage_id); $daten = new Antrag(); $daten->id = $vorlage_id; $daten->datum_letzte_aenderung = new CDbExpression('NOW()'); $daten->typ = Antrag::$TYP_STADTRAT_VORLAGE; $daten->antrag_typ = ""; $daten->gestellt_von = ""; $daten->antrag_typ = ""; $daten->bearbeitung = ""; $daten->initiatorInnen = ""; $daten->referent = ""; $daten->referat = ""; $dokumente = []; $ergebnisse = []; if (strpos($html_details, "ris_vorlagen_kurzinfo.jsp?risid={$vorlage_id}")) { $html_kurzinfo = RISTools::load_file("http://www.ris-muenchen.de/RII/RII/ris_vorlagen_kurzinfo.jsp?risid=" . $vorlage_id); $txt = explode("introtext_border\">", $html_kurzinfo); if (count($txt) < 2) { RISTools::send_email(Yii::app()->params['adminEmail'], "Vorlage: kein introtext_border", $vorlage_id . "\n" . $html_kurzinfo, null, "system"); return; } $txt = explode("</div>", $txt[1]); $daten->kurzinfo = trim(str_replace(["<br />", "<p>", "</p>"], ["", "", ""], $txt[0])); } $dat_details = explode("<!-- bereichsbild, bereichsheadline, allgemeiner text -->", $html_details); if (count($dat_details) == 1) { RISTools::send_email(Yii::app()->params['adminEmail'], "Vorlage: Keine Details", $html_details, null, "system"); return; } preg_match("/Vorlagen\\-Nr\\.: ([^<]*)</siU", $dat_details[1], $matches); $daten->antrags_nr = Antrag::cleanAntragNr($matches[1]); $dat_details = explode("<!-- detailbereich -->", $dat_details[1]); $betreff_gefunden = false; preg_match_all("/class=\"detail_row\">.*detail_label\">(.*)<\\/d.*detail_div\">(.*)<\\/div/siU", $dat_details[0], $matches); for ($i = 0; $i < count($matches[1]); $i++) { switch ($matches[1][$i]) { case "Betreff:": $betreff_gefunden = true; $daten->betreff = $this->text_simple_clean($matches[2][$i]); break; case "Status:": $daten->status = $this->text_simple_clean($matches[2][$i]); break; case "Bearbeitung:": $daten->bearbeitung = trim(strip_tags($matches[2][$i])); break; } } if (!$betreff_gefunden) { RISTools::send_email(Yii::app()->params['adminEmail'], "Fehler StadtratsvorlageParser", "Kein Betreff\n" . $html_details, null, "system"); throw new Exception("Betreff nicht gefunden"); } $dat_details = explode("<!-- details und tabelle -->", $html_details); $dat_details = explode("<!-- tabellenfuss -->", $dat_details[1]); preg_match_all("/label_long\">(<span class=\"itext\">)?([^<]*)(<\\/span>)?<\\/div.*detail_div_(left|right|left_long)\">(.*)<\\/div/siU", $dat_details[0], $matches); for ($i = 0; $i < count($matches[1]); $i++) { if ($matches[5][$i] != " ") { switch ($matches[2][$i]) { case "Typ:": $daten->antrag_typ = $matches[5][$i]; break; case "Zuständiges Referat:": $daten->referat = $matches[5][$i]; $ref = Referat::getByHtmlName($matches[5][$i]); $daten->referat_id = $ref ? $ref->id : null; break; case "Erstellt am:": $daten->gestellt_am = $this->date_de2mysql($matches[5][$i]); break; case "Wahlperiode:": $daten->wahlperiode = $matches[5][$i]; break; case "Bearbeitungsfrist:": $daten->bearbeitungsfrist = $this->date_de2mysql($matches[5][$i]); break; case "Fristverlängerung:": $daten->fristverlaengerung = $this->date_de2mysql($matches[5][$i]); break; case "Gestellt von:": $daten->gestellt_von = $matches[5][$i]; break; case "Initiatoren:": if ($matches[5][$i] != " ") { $daten->initiatorInnen = $matches[5][$i]; } break; case "Stadtbezirk/e:": $daten->ba_nr = IntVal($matches[5][$i]); break; case "Referent/in:": $daten->referent = $matches[5][$i]; break; } } } $geloescht = $betreff_gefunden && $daten->wahlperiode == "" && $daten->status == "" && $daten->betreff == ""; preg_match_all("/<li><span class=\"iconcontainer\">.*title=\"([^\"]+)\"[^>]*href=\"(.*)\">(.*)<\\/a>/siU", $html_dokumente, $matches); for ($i = 0; $i < count($matches[1]); $i++) { $dokumente[] = ["url" => $matches[2][$i], "name" => $matches[3][$i], "name_title" => $matches[1][$i]]; } preg_match_all("/ris_antrag_detail\\.jsp\\?risid=([0-9]+)[\"'& ]/siU", $html_details, $matches); $antrag_links = isset($matches[1]) && is_array($matches[1]) ? $matches[1] : []; $dat_ergebnisse = explode("<!-- tabellenkopf -->", $html_ergebnisse); if (count($dat_ergebnisse) > 1) { $dat_ergebnisse = explode("<!-- tabellenfuss -->", $dat_ergebnisse[1]); $gremien_link = "<a class=\"link_bold\" href=\"(?<gremien_link>[^\"]*)\""; $sitzung_link = "<a class=\"link_bold\" href=\"(?<sitzung_link>[^\"]*)\""; preg_match_all("/<tr[^>]*ergebnistab_tr[^>]*>.*{$gremien_link}.*{$sitzung_link}.*<\\/tr>/siu", $dat_ergebnisse[0], $matches); $ba = $str = false; if (count($matches) == 0) { $str = true; } else { for ($i = 0; $i < count($matches["gremien_link"]); $i++) { $link = $matches["gremien_link"][$i]; if (strpos($link, "ris_gremien_detail.jsp?risid=") === 0) { $str = true; } if (strpos($link, "/RII/BA-RII/ba_gremien_details.jsp?Id=") === 0) { $x = explode("/RII/BA-RII/ba_gremien_details.jsp?Id=", $link); /** @var Gremium $g */ $g = Gremium::model()->findByPk($x[1]); $ba = $g->ba_nr; } } } if ($ba > 0) { $daten->ba_nr = IntVal($ba); } else { $daten->ba_nr = null; } } $aenderungen = ""; /** @var Antrag $alter_eintrag */ $alter_eintrag = Antrag::model()->findByPk($vorlage_id); $changed = true; if ($alter_eintrag) { $changed = false; if ($geloescht) { $aenderungen = "gelöscht"; $changed = true; } else { if ($alter_eintrag->bearbeitungsfrist != $daten->bearbeitungsfrist) { $aenderungen .= "Bearbeitungsfrist: " . $alter_eintrag->bearbeitungsfrist . " => " . $daten->bearbeitungsfrist . "\n"; } if ($alter_eintrag->status != $daten->status) { $aenderungen .= "Status: " . $alter_eintrag->status . " => " . $daten->status . "\n"; } if ($alter_eintrag->fristverlaengerung != $daten->fristverlaengerung) { $aenderungen .= "Fristverlängerung: " . $alter_eintrag->fristverlaengerung . " => " . $daten->fristverlaengerung . "\n"; } if (isset($daten->initiatorInnen) && $alter_eintrag->initiatorInnen != $daten->initiatorInnen) { $aenderungen .= "Initiatoren: " . $alter_eintrag->initiatorInnen . " => " . $daten->initiatorInnen . "\n"; } if ($alter_eintrag->gestellt_von != $daten->gestellt_von) { $aenderungen .= "Gestellt von: " . $alter_eintrag->gestellt_von . " => " . $daten->gestellt_von . "\n"; } if ($alter_eintrag->antrags_nr != $daten->antrags_nr) { $aenderungen .= "Vorlagen-Nr: " . $alter_eintrag->antrags_nr . " => " . $daten->antrags_nr . "\n"; } if ($alter_eintrag->ba_nr != $daten->ba_nr) { $aenderungen .= "BA: " . $alter_eintrag->ba_nr . " => " . $daten->ba_nr . "\n"; } if (isset($daten->referat) && $alter_eintrag->referat != $daten->referat) { $aenderungen .= "Referat: " . $alter_eintrag->referat . " => " . $daten->referat . "\n"; } if (isset($daten->referent) && $alter_eintrag->referent != $daten->referent) { $aenderungen .= "Referent: " . $alter_eintrag->referent . " => " . $daten->referent . "\n"; } if ($alter_eintrag->referat_id != $daten->referat_id) { $aenderungen .= "Referats-ID: " . $alter_eintrag->referat_id . " => " . $daten->referat_id . "\n"; } if ($aenderungen != "") { $changed = true; } } } if ($changed) { echo "Vorlage {$vorlage_id}: Verändert: " . ($changed ? "Ja" : "Nein") . "\n"; if ($alter_eintrag) { $alter_eintrag->copyToHistory(); $alter_eintrag->setAttributes($daten->getAttributes()); if (!$alter_eintrag->save(false)) { echo "Vorlage 1\n"; var_dump($alter_eintrag->getErrors()); die("Fehler"); } $daten = $alter_eintrag; if ($geloescht) { echo "Lösche"; foreach ($daten->dokumente as $dok) { echo $dok->antrag_id . " => null\n"; $dok->antrag_id = null; $dok->save(); } foreach ($daten->ergebnisse as $erg) { echo $erg->antrag_id . " => null\n"; $erg->antrag_id = null; $erg->save(); } Yii::app()->db->createCommand("UPDATE tagesordnungspunkte_history SET antrag_id = NULL WHERE antrag_id = " . IntVal($vorlage_id))->execute(); Yii::app()->db->createCommand("UPDATE tagesordnungspunkte SET antrag_id = NULL WHERE antrag_id = " . IntVal($vorlage_id))->execute(); Yii::app()->db->createCommand("DELETE FROM antraege_orte WHERE antrag_id = " . IntVal($vorlage_id))->execute(); Yii::app()->db->createCommand("DELETE FROM antraege_vorlagen WHERE antrag1 = " . IntVal($vorlage_id))->execute(); if (!$daten->delete()) { RISTools::send_email(Yii::app()->params['adminEmail'], "Vorlage: Nicht gelöscht", "VorlageParser 2\n" . print_r($daten->getErrors(), true), null, "system"); die("Fehler"); } $aend = new RISAenderung(); $aend->ris_id = $daten->id; $aend->ba_nr = NULL; $aend->typ = RISAenderung::$TYP_STADTRAT_VORLAGE; $aend->datum = new CDbExpression("NOW()"); $aend->aenderungen = $aenderungen; $aend->save(); return; } } elseif (!$geloescht) { if (!$daten->save()) { echo "Vorlage 2\n"; var_dump(debug_backtrace(DEBUG_BACKTRACE_PROVIDE_OBJECT, 3)); var_dump($daten->getErrors()); die("Fehler"); } } $daten->resetPersonen(); } foreach ($dokumente as $dok) { $aenderungen .= Dokument::create_if_necessary(Dokument::$TYP_STADTRAT_VORLAGE, $daten, $dok); } foreach ($antrag_links as $link) { /** @var Antrag $antrag */ $antrag = Antrag::model()->findByPk(IntVal($link)); if (!$antrag) { $parser = new StadtratsantragParser(); $parser->parse($link); $antrag = Antrag::model()->findByPk(IntVal($link)); } if (!$antrag) { if (Yii::app()->params['adminEmail'] != "") { RISTools::send_email(Yii::app()->params['adminEmail'], "Stadtratsvorlage - Zugordnungs Error", $vorlage_id . " - " . $link, null, "system"); } } $sql = Yii::app()->db->createCommand(); $sql->select("antrag2")->from("antraege_vorlagen")->where("antrag1 = " . IntVal($vorlage_id) . " AND antrag2 = " . IntVal($antrag->id)); $data = $sql->queryAll(); if (count($data) == 0) { $daten->addAntrag($antrag); $aenderungen .= "Neuer Antrag zugeordnet: http://www.ris-muenchen.de/RII/RII/ris_antrag_detail.jsp?risid={$link}\n"; } } if ($aenderungen != "") { $aend = new RISAenderung(); $aend->ris_id = $daten->id; $aend->ba_nr = $daten->ba_nr; $aend->typ = RISAenderung::$TYP_STADTRAT_VORLAGE; $aend->datum = new CDbExpression("NOW()"); $aend->aenderungen = $aenderungen; $aend->save(); /** @var Antrag $antrag */ $antrag = Antrag::model()->findByPk($vorlage_id); $antrag->datum_letzte_aenderung = new CDbExpression('NOW()'); // Auch bei neuen Dokumenten $antrag->save(); $antrag->rebuildVorgaenge(); } }