/**
* Funkce pro připravení entity nového datového zdroje podle DbConnection
*
* @param DbConnection $dbConnection
* @return Datasource
*/
public static function newFromDbConnection(DbConnection $dbConnection)
{
$datasource = new Datasource();
$datasource->type = $dbConnection->type;
$datasource->dbName = $dbConnection->dbName;
$datasource->dbServer = $dbConnection->dbServer;
$datasource->dbApi = $dbConnection->dbApi;
if (!empty($dbConnection->dbPort)) {
$datasource->dbPort = $dbConnection->dbPort;
}
$datasource->dbUsername = $dbConnection->dbUsername;
$datasource->setDbPassword($dbConnection->dbPassword);
return $datasource;
}
/**
* @param Task $task
* @param Datasource $testingDatasource
* @return ScoringResult
* @throws \Exception
*/
public function evaluateTask(Task $task, Datasource $testingDatasource)
{
#region sestavení PMML a následné vytvoření scoreru
$pmml = $this->prepareTaskPmml($task);
$url = $this->serverUrl . '/scorer';
try {
$response = self::curlRequestResponse($url, $pmml, '', ['Content-Type' => 'application/xml; charset=utf-8']);
$response = Json::decode($response, Json::FORCE_ARRAY);
if (@$response['code'] == 201 && !empty($response['id'])) {
$scorerId = $response['id'];
} else {
throw new \Exception(@$response['description']);
}
} catch (\Exception $e) {
throw new \Exception('Scorer creation failed!', 500, $e);
}
#endregion sestavení PMML a následné vytvoření scoreru
#region postupné posílání řádků z testovací DB tabulky
$database = $this->databaseFactory->getDatabaseInstance($testingDatasource->getDbConnection(), $task->miner->user);
$dbDatasource = $database->getDbDatasource($testingDatasource->dbDatasourceId > 0 ? $testingDatasource->dbDatasourceId : $testingDatasource->dbTable);
$dbRowsCount = $dbDatasource->size;
$testedRowsCount = 0;
/** @var ScoringResult[] $partialResults */
$partialResults = [];
$url .= '/' . $scorerId;
//export jednotlivých řádků z DB a jejich otestování
while ($testedRowsCount < $dbRowsCount) {
//připravení JSONu a jeho odeslání
$dbValuesRows = $database->getDbValuesRows($dbDatasource, $testedRowsCount, self::ROWS_PER_TEST);
$json = Json::encode($dbValuesRows->getRowsAsArray());
$response = self::curlRequestResponse($url, $json, '', ['Content-Type' => 'application/json; charset=utf-8']);
$response = Json::decode($response, Json::FORCE_ARRAY);
if ($response["code"] != 200) {
throw new \Exception('Invalid scorer response!');
}
//vytvoření objektu s výsledky
$scoringResult = new EasyMinerScoringResult($response);
$partialResult = $scoringResult->getScoringConfusionMatrix()->getScoringResult(true);
$partialResults[] = $partialResult;
//TODO tady bude v budoucnu možné doplnit zpracování celé kontingenční tabulky
//připočtení řádků a uvolnění paměti
unset($scoringResult);
$testedRowsCount += self::ROWS_PER_TEST;
}
#endregion postupné posílání řádků z testovací DB tabulky
#region sestavení celkového výsledku a jeho vrácení
return ScoringResult::merge($partialResults);
#endregion sestavení celkového výsledku a jeho vrácení
}
/**
* @param Task $task
* @param Datasource $testingDatasource
* @return ScoringResult
*/
public function evaluateTask(Task $task, Datasource $testingDatasource)
{
$rulesXmlFileName = $task->taskId . '.xml';
/** @var string $rulesXmlFilePath - cesta souboru s pravidly v XML */
$rulesXmlFilePath = @$this->params['tempDirectory'] . '/' . $rulesXmlFileName;
$associationRulesXmlSerializer = new AssociationRulesXmlSerializer($task->rules);
$rulesXml = $associationRulesXmlSerializer->getXml()->asXML();
file_put_contents($rulesXmlFilePath, $rulesXml);
$database = $this->databaseFactory->getDatabaseInstance($testingDatasource->getDbConnection(), $task->miner->user);
$dbDatasource = $database->getDbDatasource($testingDatasource->dbDatasourceId > 0 ? $testingDatasource->dbDatasourceId : $testingDatasource->dbTable);
$dbRowsCount = $dbDatasource->size;
$testedRowsCount = 0;
/** @var ScoringResult[] $partialResults */
$partialResults = [];
//export jednotlivých řádků z DB a jejich otestování
while ($testedRowsCount < $dbRowsCount) {
$csv = CsvSerializer::prepareCsvFromDatabase($database, $dbDatasource, $testedRowsCount, self::ROWS_PER_TEST, ';', '"');
$csvFileName = $testingDatasource->datasourceId . '-' . $testedRowsCount . '-' . self::ROWS_PER_TEST . '.csv';
/** @var string $csvFilePath - cesta k CSV souboru s částí dat */
$csvFilePath = @$this->params['tempDirectory'] . '/' . $csvFileName;
file_put_contents($csvFilePath, $csv);
$url = $this->serverUrl . '?rulesXml=' . $this->getTempFileUrl($rulesXmlFileName) . '&dataCsv=' . $this->getTempFileUrl($csvFileName);
//try{
$response = self::curlRequestResponse($url);
$xml = simplexml_load_string($response);
$partialResult = new ScoringResult();
$partialResult->truePositive = (string) $xml->truePositive;
$partialResult->falsePositive = (string) $xml->falsePositive;
$partialResult->rowsCount = (string) $xml->rowsCount;
$partialResults[] = $partialResult;
unset($xml);
//}catch (\Exception $e){
// /*ignore error...*/
//}
unlink($csvFilePath);
$testedRowsCount += self::ROWS_PER_TEST;
}
//XXX unlink($rulesXmlFilePath);
//sestavení celkového výsledku
return ScoringResult::merge($partialResults);
}
/**
* Funkce pro připravení parametrů nového datového zdroje pro daného uživatele...
* @param string $dbType
* @param User $user
* @param bool $ignoreCheck
* @return Datasource
*/
public function prepareNewDatasourceForUser($dbType, User $user, $ignoreCheck = false)
{
$defaultDbConnection = $this->databaseFactory->getDefaultDbConnection($dbType, $user);
$datasource = Datasource::newFromDbConnection($defaultDbConnection);
if ($dbType == DbConnection::TYPE_UNLIMITED) {
return $datasource;
}
if ($ignoreCheck) {
return $datasource;
}
$this->databaseFactory->checkDatabaseAvailability($defaultDbConnection, $user);
return $datasource;
}
/**
* Funkce pro export pole s informacemi z DataDictionary a TransformationDictionary
* @param Datasource $datasource
* @param Metasource|null $metasource
* @return array
*/
public function exportDictionariesArr(Datasource $datasource, Metasource $metasource = null)
{
$this->databasesFacade->openDatabase($datasource->getDbConnection());
$output = array('dataDictionary' => array(), 'transformationDictionary' => array(), 'recordCount' => $this->databasesFacade->getRowsCount($datasource->dbTable));
#region datafields
foreach ($datasource->datasourceColumns as $datasourceColumn) {
$output['dataDictionary'][$datasourceColumn->name] = $datasourceColumn->type == DatasourceColumn::TYPE_STRING ? 'string' : 'integer';
//TODO kontrola, jaké má smysl vracet datové typy....
}
#endregion datafields
#region atributy
if (!empty($metasource) && !empty($metasource->attributes)) {
$this->databasesFacade->openDatabase($metasource->getDbConnection());
foreach ($metasource->attributes as $attribute) {
$valuesArr = array();
try {
$valuesStatistics = $this->databasesFacade->getColumnValuesStatistic($metasource->attributesTable, $attribute->name, true);
if (!empty($valuesStatistics->valuesArr)) {
foreach ($valuesStatistics->valuesArr as $value => $count) {
$valuesArr[] = $value;
}
}
} catch (\Exception $e) {
}
$output['transformationDictionary'][$attribute->name] = array('choices' => $valuesArr);
}
}
#endregion atributy
return $output;
}
