AIでPythonスクレイピングを自動化する方法｜コードをAIに書かせてWebからデータを収集する非エンジニア向け実践ガイド

2026年9月6日

競合サイトの価格を毎日チェックするのに時間を取られている。求人情報サイトから掲載キーワードを拾い集めるのが面倒だ。業界ニュースをまとめて収集したいが、手作業では追いつかない。

こうした「Webからデータを集める作業」は、Pythonというプログラミング言語で書かれた「スクレイピング」という手法で自動化できます。しかし「プログラミングは未経験」という方にとって、Pythonコードを自分で書くことはハードルが高く感じるはずです。

この記事では、ChatGPT・Claudeなどの生成AIにPythonスクレイピングコードを書いてもらい、コピペして実行するだけでWebデータ収集を自動化する方法を解説します。プログラミング未経験の方でも、このガイドどおりに進めれば動くコードを手に入れられます。

Webスクレイピングとは？AIがあると何が変わるか

Webスクレイピングとは、Webサイトからデータを自動的に取得・収集する技術です。たとえば、競合他社の商品価格を毎日自動で記録したり、求人サイトの掲載件数を集計したり、ニュースサイトの見出しを一覧化したりすることができます。

従来、スクレイピングコードを書くにはPythonの文法やライブラリの知識が必要でした。しかしAI（ChatGPT・Claude）を使えば、プロンプト（指示文）を入力するだけで動くコードが手に入ります。

項目	従来のやり方	AIを活用したやり方
準備期間	Pythonを独学で学ぶ（数ヶ月）	AIに依頼して数分でコード完成
エラー対応	ネット検索で自力解決	エラーメッセージをAIに渡して即修正
ライブラリ選定	自分で調査・比較	AIが最適なものを選んで使う
必要スキル	プログラミング知識が前提	「やりたいこと」を日本語で伝えるだけ

非エンジニアでも、AIを「翻訳者」として使えば、日本語の要望をPythonコードに変換してもらえます。

事前に用意するもの

1. Python環境の準備（5分程度）

Pythonはプログラムを実行するための環境です。まだインストールされていない場合は以下の手順で準備します。

・Pythonの公式サイト（python.org）からインストーラーをダウンロードする
・インストール時に「Add Python to PATH」のチェックボックスを必ず入れる（これを忘れると後でエラーが出やすくなります）
・インストール完了後、コマンドプロンプト（Windowsの場合）またはターミナル（Macの場合）を開き、python --versionと入力してバージョン番号が表示されればOK

コードを書いて実行するエディタ（テキスト編集ソフト）も用意します。VS Code（Visual Studio Code）が無料で使いやすく、AIとの連携ツールも豊富なためおすすめです。

2. AIツールの準備

コードを書いてもらうためのAIを用意します。

・ChatGPT: GPT-4oを使うとコード生成の精度が高い。無料プランでも使えるが、やり取りを何度も繰り返す場合はChatGPT Plus（2026年時点で月額$20）が快適
・Claude（claude.ai）: 長いコードや複雑なロジックが得意。Sonnetプラン以上での利用を推奨

どちらを使っても構いません。「コードを生成してもらう → エラーを修正してもらう → 動作確認する」という一連のやり取りができれば十分です。

AIにスクレイピングコードを書いてもらう（ステップバイステップ）

1. ゴールを明確にしたプロンプトを書く

AIにコードを書いてもらう際の最大のコツは、「どのサイトから」「何のデータを」「どの形式で保存したいか」を明確に伝えることです。曖昧な指示だと、動かないコードや想定と違う内容が生成される可能性があります。

以下のテンプレートをそのままコピーして使ってください。

以下の条件でWebスクレイピングのPythonコードを書いてください。【対象サイト】 https://（スクレイピングしたいサイトのURL）【取得したい情報】・商品名・価格・更新日時【保存形式】 CSVファイルに保存（ファイル名: scraping_result.csv）【その他の条件】・requestsとBeautifulSoupライブラリを使う・各処理に日本語のコメントを入れる・エラーが発生したときはエラーメッセージを表示する・実行前に必要なpipインストールコマンドも教えてください

プロンプトのポイントを補足します。

・サイトURLを直接貼り付ける: サイト名だけだとAIがHTML構造を推測しにくいため、実際のURLを貼ります
・ライブラリを指定する: requests + BeautifulSoupは定番の組み合わせで情報が豊富。初心者に扱いやすい
・コメントを依頼する: 後でコードを読み解いたり修正したりするときに理解しやすくなります

2. AIが出力したコードをコピーして実行する

AIがコードを生成したら、VS Codeに貼り付けて実行します。コードの最初の部分にpipインストールコマンドが書いてある場合は、先にそのコマンドをターミナルで実行します。

AIが生成するコードのイメージ（架空のサンプル）:


# 【事前実行】ターミナルで: pip install requests beautifulsoup4

import requests
from bs4 import BeautifulSoup
import csv

# スクレイピング対象のURL
url = "https://example.com/products"

# Webサイトにアクセス
response = requests.get(url)

# アクセス成功かチェック
if response.status_code != 200:
    print(f"エラー: ページを取得できませんでした（コード: {response.status_code}）")
else:
    # HTMLを解析
    soup = BeautifulSoup(response.text, "html.parser")

    # 商品情報が入った要素を全て取得
    products = soup.find_all("div", class_="product-item")

    # CSVファイルに保存
    with open("scraping_result.csv", "w", encoding="utf-8-sig", newline="") as f:
        writer = csv.writer(f)
        writer.writerow(["商品名", "価格"])  # ヘッダー行
        for product in products:
            name = product.find("span", class_="product-name").text.strip()
            price = product.find("span", class_="product-price").text.strip()
            writer.writerow([name, price])

    print("完了！ scraping_result.csv に保存しました。")

注意: 上記はあくまでサンプルです。実際のサイトはHTMLのタグ構造やクラス名が異なります。AIに対象サイトのURLを伝えると、そのサイトに合わせたコードを生成してくれます。

3. 取得結果を確認して改善する

コードを実行してCSVファイルが生成されたら、Excelで開いてデータを確認します。「価格に余分な文字が混入している」「一部のデータが取れていない」といった場合は、その状況をAIに伝えて修正を依頼します。

先ほどのコードを実行したところ、価格の列に「¥」マークと「税込」という文字が混入しています。数値だけを取り出すように修正してください。現在の出力: ¥1,980（税込）期待する出力: 1980

「現在の状態」と「期待する状態」をセットで伝えることで、AIが的確な修正コードを返してくれます。

実務での活用例（Before/After）

【活用例1】競合サイトの価格データを毎日自動収集

Before（AI活用前）
毎朝、担当者が競合3社のECサイトを手動で巡回し、Excelに価格を転記。1社あたり15分かかり、合計45分の作業が毎日発生していた。転記ミスも月に数回起きていた。

After（AI活用後）
AIに各サイト用のスクレイピングコードを書いてもらい、Windowsのタスクスケジューラで毎朝8時に自動実行するよう設定。担当者は朝に自動生成されたCSVを確認するだけになった。1日45分の作業が5分に短縮され、転記ミスもゼロになった。

【活用例2】求人サイトのキーワードを自動集計して採用戦略に活かす

Before（AI活用前）
人事担当者が同業他社の求人情報を月に1回手作業でチェックし、どんなスキルが求められているかをコピペでまとめていた。毎月半日かかる作業で、情報が古くなるのも課題だった。

After（AI活用後）
AIに求人サイトの検索結果ページをスクレイピングするコードを書かせ、求人タイトルと必須スキルを自動収集・CSV化。毎週自動でデータが更新されるようになり、採用市場のトレンドをリアルタイムで把握できるようになった。

うまくいかないときの対処法

【対処1】エラーメッセージをそのままAIに渡す

コードを実行してエラーが出た場合は、エラーメッセージ全体をコピーしてAIに貼り付けます。「以下のエラーが出ました。原因と修正コードを教えてください」と一言添えるだけで、AIが原因を分析して正しいコードに書き直してくれます。

エラーの読み方や解析の詳しいテクニックは、AIでエラーログ・スタックトレースを解析する方法でも解説しています。

【対処2】サイトのHTML構造が変わった場合

スクレイピング対象のサイトがリニューアルされると、HTMLのタグ構造が変わりコードが動かなくなることがあります。そのときは「このページのHTMLを確認してください。新しい構造に合わせてコードを書き直してください」と伝え、そのページのHTMLソースをAIに貼り付けます。

HTMLソースの確認方法: ブラウザで対象ページを開き、右クリック → 「ページのソースを表示」を選択するとHTMLが確認できます。

【対処3】ログインが必要なサイトのデータを取得したい

会員制サービスやログインが必要なページのデータを取得したい場合、通常のrequests + BeautifulSoupでは対応できません。この場合はAIに「Seleniumを使ったログイン付きスクレイピングコードを書いてください」と指示すると、ブラウザ自動操作でログインしてからデータを取得するコードを生成してもらえます。ただし、後述する利用規約の確認を必ず先に行ってください。

【対処4】「429 Too Many Requests」エラーが出る

短時間に大量のリクエストを送ると、サイト側からアクセスを制限されてこのエラーが返ってきます。AIに「各リクエストの間に1～2秒の待機時間を入れてください」と依頼すると、time.sleep(1)を追加したコードに修正してくれます。

スクレイピングの注意点（法律・マナー）

スクレイピングは便利な技術ですが、使い方によっては問題が生じることがあります。実施前に必ず以下を確認してください。

・利用規約の確認: 多くのサービスは利用規約で「自動収集・スクレイピング禁止」を明記しています。違反すると不正競争防止法・不正アクセス禁止法の適用可能性があります
・robots.txtの遵守: 対象サイトの「robots.txt」ファイル（例: https://example.com/robots.txt）には、クローラーへのアクセス制限が書かれています。Disallowと記載されているパスへのアクセスは控えましょう
・アクセス頻度を守る: 短時間に大量のリクエストを送るとサーバーに負荷をかけ、サービス妨害とみなされる場合があります。time.sleepで適切な間隔を空けるよう、AIに指示するのがマナーです
・個人情報・著作権への配慮: 取得したデータに個人情報が含まれる場合は個人情報保護法の対象になる可能性があります。データの無断転載や商用利用は著作権侵害になる恐れがあります
・公式APIが用意されているサービスは優先的に使う: Twitter（X）やYouTubeなど多くのサービスはAPIを提供しており、スクレイピングより安全かつ安定してデータを取得できます

WebセキュリティやIT法務に関する詳細は、姉妹サイトセキュリティマスターズ.TOKYOもあわせてご参照ください。

本記事のまとめ

AIを使ったPythonスクレイピング自動化の要点をまとめます。

ステップ	やること	ポイント
環境準備	Python + VS Codeをインストール	「Add Python to PATH」を必ず有効化
プロンプト設計	対象URL・取得項目・保存形式を明記	曖昧な指示を避けて具体的に伝える
コード生成	AIが出力したコードをコピペして実行	pipインストールを先に行う
改善・修正	エラーや不完全な出力はAIに渡す	「現在の状態」と「期待する状態」をセットで伝える
法的確認	利用規約・robots.txt・著作権を確認	合法的・倫理的な範囲で活用する