クローリングについてはChromeヘッドレスブラウザを使い、実際にユーザーがサイトを訪問するようなオートメーション操作を実装した。クロール対象サーバに過度な負荷を与えないよう、適切なウェイト処理を実装した上で現実的な使用に耐えうる速度で物件情報を集める点で苦労したが結局成功した。

クロール対象サイトは一般に公開されているものではなく、業者専用のサイトでログインも必要だったためChromeヘッドレスブラウザが大変役に立った。

フレームワークとしては独自のkNot Frameworkを使用した。