Skip to content

kknet/AdultMidnight

 
 

Repository files navigation

Adult.Midnight Build Status Coverage Status

Description

AdultMidnight は、アダルトサイトを巡回し、その日に更新されたコンテンツを自動でまとめるツールです。

Requirement

PHP >= 5.4

Usage

Crawl コマンドを実行するのみです。 ロボットがクロールを始め、コンテンツ収集後 public_html/index.html を更新します。 バーチャルホストなどでコンテンツを閲覧出来ます。

$ bin/midnight Crawl

Install

Composer で必要なライブラリを取得するのみです。

$ composer.phar install

How to use Aws?

AdultMidnight は Aws でコンテンツを公開出来る機能を備えています。 仕組みは簡単で、クローラーが集めたコンテンツを S3 で静的ページとして公開しているのみです。

まず、Aws 用の設定ファイルを生成します。

$ cp data/config/aws.ini.orig data/config/aws.ini
key=your_aws_access_key
secret=your_aws_secret_key
bucket=s3_bucket_name

必要なリソース(cssやimgなど)を S3 に同期します。

$ bin/midnight S3sync public_html/

同期が完了したら適当な EC2 インスタンスを立ち上げ、 Crawl コマンドを実行します。 EC2 上で収集したコンテンツは S3 に自動的に保存されます。 EC2 以外の場所で実行しても S3 には保存されません。

$ bin/midnight Crawl

なお、定期的にクロールしたい場合は Aws のオートスケールを使うのがベストです。 AdultMidnight ではオートスケールの設定を容易に行うコマンドも揃っています。

UpdateAutoScaling コマンドでは指定した AMI-ID で AutoScalingGroup を更新します。 その際、グループ名は ModernAdultMidnightCrawlerGroup となります。

$ bin/midnight UpdateAutoScaling ami-12345678

UpdateScheduledAction コマンドではオートスケールの ScheduledAction を更新します。 ScheduledAction を設定することで任意の時間にオートスケールさせることが可能です。

Licence

MIT

Author

app2641

About

AdultMidnight is a tool for collecting porno data that has been updated today.

Resources

License

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Languages

  • HTML 95.7%
  • PHP 3.4%
  • Other 0.9%