ドメインクローリングシステム

制作時期:

2016年~2018年

画面イメージ:

指定したURLを巡回し(並列処理)、結果からドメイン情報を収集する

使用言語 / 環境:

PHP MySQL

フレームワーク / CMS:

独自フレームワーク

説明:

 ドメインを収集するためのサーバプログラムと、サーバプログラムを制御する管理画面を作成。

– 並列処理で1度に数十URLを処理(1日当たり数万~数十万URL)
– 処理結果の統計処理
– サーバリソース監視機能(HDD容量、メモリ使用量)
– データ出力機能により生データ、統計データをCSVにて出力可能