app.py

from flask import Flask, render_template_string, jsonify, request
import threading
import requests
import xml.etree.ElementTree as ET
import concurrent.futures
import time

app = Flask(name)

——————————-

① 対象各国のサイトマップ URL を設定

——————————-

sitemaps = {
“Japanese”: “https://mainoriti.com/sitemap_index.xml”,
“English”: “https://mainoriti.com/en/sitemap_index.xml”,
“Arabic”: “https://mainoriti.com/ar/sitemap_index.xml”,
“Chinese (Simplified)”: “https://mainoriti.com/zh-CN/sitemap_index.xml”,
“Dutch”: “https://mainoriti.com/nl/sitemap_index.xml”,
“French”: “https://mainoriti.com/fr/sitemap_index.xml”,
“German”: “https://mainoriti.com/de/sitemap_index.xml”,
“Italian”: “https://mainoriti.com/it/sitemap_index.xml”,
“Korean”: “https://mainoriti.com/ko/sitemap_index.xml”,
“Malay”: “https://mainoriti.com/ms/sitemap_index.xml”,
“Polish”: “https://mainoriti.com/pl/sitemap_index.xml”,
“Russian”: “https://mainoriti.com/ru/sitemap_index.xml”,
“Spanish”: “https://mainoriti.com/es/sitemap_index.xml”,
“Swedish”: “https://mainoriti.com/sv/sitemap_index.xml”,
}

——————————-

② 各種デバイスのユーザーエージェント設定

——————————-

user_agents = {
“PC”: “Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/115.0.0.0 Safari/537.36”,
“Mac”: “Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/15.1 Safari/605.1.15”,
“iPhone”: “Mozilla/5.0 (iPhone; CPU iPhone OS 15_0 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/15.0 Mobile/15E148 Safari/604.1”,
“Android”: “Mozilla/5.0 (Linux; Android 11; SM-G998B) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/115.0.0.0 Mobile Safari/537.36”,
“GoogleSmartphone”: “Mozilla/5.0 (Linux; Android 11; Pixel 4 XL Build/QQ3A.200805.001) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/115.0.0.0 Mobile Safari/537.36”,
}

——————————-

③ グローバル変数：進捗管理＆キャンセルフラグ

——————————-

progress_data = {} # 各国毎の進捗: { country: {‘total’: int, ‘processed’: int} }
cancel_requested = False
crawl_thread = None

def get_all_urls(sitemap_url, visited=None):
“””
サイトマップURLを再帰的に辿って、最終的な「ページURL」をすべて取得する関数。
– sitemap_index.xml（）の場合はサブサイトマップをさらに辿る。
– 通常のサイトマップ（）の場合はページURLを取得する。
:param sitemap_url: サイトマップ or サイトマップインデックスのURL
:param visited: 既に巡回したサイトマップURLを記録するセット(重複巡回防止)
:return: ページURLのリスト
“””
if visited is None:
visited = set()

all_page_urls = []

# 既に巡回したURLならスキップ
if sitemap_url in visited:
    return all_page_urls
visited.add(sitemap_url)

try:
    resp = requests.get(sitemap_url, timeout=10)
    resp.raise_for_status()
    root = ET.fromstring(resp.text)
except Exception as e:
    print(f"Error fetching or parsing sitemap: {sitemap_url}, Error: {e}")
    return all_page_urls

# タグ名でsitemapindexかurlsetかを判定
tag_lower = root.tag.lower()
if tag_lower.endswith("sitemapindex"):
    # サイトマップインデックス → <sitemap> 要素にある <loc> をたどる
    for sitemap in root.findall("{*}sitemap"):
        loc = sitemap.find("{*}loc")
        if loc is not None and loc.text:
            # サブサイトマップを再帰的に取得
            sub_urls = get_all_urls(loc.text.strip(), visited)
            all_page_urls.extend(sub_urls)
elif tag_lower.endswith("urlset"):
    # 通常のサイトマップ → <url> 要素にある <loc> がページURL
    for url_elem in root.findall("{*}url"):
        loc = url_elem.find("{*}loc")
        if loc is not None and loc.text:
            all_page_urls.append(loc.text.strip())

return all_page_urls

def fetch_and_cache(url, headers):
“””
各ページに GET リクエストを送り、Cloudflare のキャッシュをウォームアップする関数。
“””
try:
requests.get(url, headers=headers, timeout=10)
except Exception as e:
print(f”Error fetching {url}: {e}”)

def process_sitemap(country, sitemap_url):
“””
1. 指定のサイトマップURLから実際のページURLを再帰的に全取得
2. 各URLに対して、各ユーザーエージェントでリクエストを並列送信
3. 進捗を更新
“””
global progress_data, cancel_requested

# まず、最終的に巡回する全ページURLを取得
urls = get_all_urls(sitemap_url)
total_requests = len(urls) * len(user_agents)
progress_data[country] = {'total': total_requests, 'processed': 0}

if total_requests == 0:
    print(f"No pages found for {country}.")
    return

# 並列処理
with concurrent.futures.ThreadPoolExecutor(max_workers=10) as executor:
    futures = []
    for page_url in urls:
        # キャンセルフラグを確認
        if cancel_requested:
            print("Cancellation requested during processing", country)
            return

        for ua in user_agents.values():
            if cancel_requested:
                print("Cancellation requested during processing", country)
                return
            headers = {"User-Agent": ua}
            futures.append(executor.submit(fetch_and_cache, page_url, headers))

    # 各リクエスト完了を待ちながら進捗を更新
    for future in concurrent.futures.as_completed(futures):
        if cancel_requested:
            break
        try:
            future.result(timeout=15)
        except Exception as e:
            print("Error during fetching: ", e)
        progress_data[country]['processed'] += 1

print(f"Finished processing {country}")

def crawl_all():
“””
各国のサイトマップを対象に、並列処理でキャッシュウォームアップを実行する。
“””
global cancel_requested, progress_data
cancel_requested = False
progress_data = {}

threads = []
for country, sitemap_url in sitemaps.items():
    t = threading.Thread(target=process_sitemap, args=(country, sitemap_url))
    threads.append(t)
    t.start()

for t in threads:
    t.join()

print("全ての国の巡回が完了しました。")

——————————-

④ Web UI (HTML/JS) のルート

——————————-

@app.route(‘/’)
def index():
# ポーリングを行い、全ての国が処理完了になったら自動でstopするJSを含むHTML
html = “””


キャッシュオートボット

キャッシュオートボット

巡回開始
キャンセル

  <script>
    let intervalId = null;

    document.getElementById('startBtn').addEventListener('click', function() {
      fetch('/start', {method: 'POST'})
      .then(response => response.json())
      .then(data => {
        console.log(data);
        document.getElementById('startBtn').disabled = true;
        document.getElementById('cancelBtn').disabled = false;
        startProgressPolling();
      });
    });

    document.getElementById('cancelBtn').addEventListener('click', function() {
      fetch('/cancel', {method: 'POST'})
      .then(response => response.json())
      .then(data => {
        console.log(data);
        document.getElementById('cancelBtn').disabled = true;
      });
    });

    function startProgressPolling() {
      intervalId = setInterval(() => {
        fetch('/progress')
        .then(response => response.json())
        .then(data => {
          let container = document.getElementById('progressContainer');
          container.innerHTML = '';
          let allDone = true;

          for (let country in data) {
            let info = data[country];
            let processed = info.processed;
            let total = info.total;
            let percentage = (processed / total) * 100;

            // 進捗バー
            let progressHTML = 
              <div class="progress-container">
                <strong>${country}</strong><br>
                <div class="progress-wrapper">
                  <div class="progress-bar" style="width: ${percentage}%;"></div>
                </div>
                <span>${processed} / ${total}</span>
              </div>
            ;
            container.innerHTML += progressHTML;

            // まだ完了していない国があれば、allDoneをfalseに
            if (processed < total) {
              allDone = false;
            }
          }

          // 全ての国が完了していたらポーリング停止
          if (allDone && Object.keys(data).length > 0) {
            clearInterval(intervalId);
            document.getElementById('cancelBtn').disabled = true;
            document.getElementById('startBtn').disabled = false;
            console.log("All countries are done. Stopped polling.");
          }
        });
      }, 1000);
    }
  </script>
</body>
</html>
"""
return render_template_string(html)

——————————-

⑤ 各種 API エンドポイント

——————————-

@app.route(‘/start’, methods=[‘POST’])
def start():
global crawl_thread, cancel_requested
cancel_requested = False
crawl_thread = threading.Thread(target=crawl_all)
crawl_thread.start()
return jsonify({“status”: “started”})

@app.route(‘/progress’)
def progress():
return jsonify(progress_data)

@app.route(‘/cancel’, methods=[‘POST’])
def cancel():
global cancel_requested
cancel_requested = True
return jsonify({“status”: “cancelled”})

——————————-

⑥ アプリ起動

——————————-

if name == ‘main‘:
app.run(debug=True)