Gemini 2.5 Computer Use 究極ガイド：入門から実践まで、あなたのAI自動化アシスタントを構築

pip install google-genai playwright
playwright install chromium

from playwright.sync_api import sync_playwright

# 1. ターゲット環境の画面サイズを設定する
SCREEN_WIDTH = 1440
SCREEN_HEIGHT = 900

# 2. Playwrightブラウザを起動する
# 本番環境では、サンドボックス環境を使用してください
playwright = sync_playwright().start()
# headless=Falseに設定すると、AIの操作を画面上で確認できます
browser = playwright.chromium.launch(headless=False)

# 3. 指定したサイズのコンテキストとページを作成する
context = browser.new_context(
    viewport={"width": SCREEN_WIDTH, "height": SCREEN_HEIGHT}
)
page = context.new_page()

# 4. タスクを開始するために初期ページに移動する
page.goto("https://www.google.com")

print("ブラウザが初期化され、タスクを開始する準備ができました。")

# ヘルパー関数：モデルが返した正規化された座標（0-999）を実際のピクセル座標に変換する
def denormalize_x(x, screen_width):
    return int(x / 1000 * screen_width)

def denormalize_y(y, screen_height):
    return int(y / 1000 * screen_height)

# ヘルパー関数：モデルが返した関数呼び出しを実行する
def execute_function_calls(candidate, page, screen_width, screen_height):
    results = []
    for part in candidate.content.parts:
        if not part.function_call:
            continue
        
        fname = part.function_call.name
        args = part.function_call.args
        print(f"-> 実行中: {fname}、引数: {args}")

        try:
            if fname == "click_at":
                x = denormalize_x(args["x"], screen_width)
                y = denormalize_y(args["y"], screen_height)
                page.mouse.click(x, y)
            elif fname == "type_text_at":
                x = denormalize_x(args["x"], screen_width)
                y = denormalize_y(args["y"], screen_height)
                page.mouse.click(x, y)
                page.keyboard.type(args["text"])
                if args.get("press_enter", False):
                    page.keyboard.press("Enter")
            # ... ここに他のサポートされているアクションを実装します ...
            else:
                 print(f"警告: 実装されていない関数 {fname}")
            
            # ページの読み込みを待つ
            page.wait_for_load_state(timeout=5000)
            results.append((fname, {"status": "success"}))
        except Exception as e:
            print(f"エラー: {fname} の実行中にエラーが発生しました: {e}")
            results.append((fname, {"error": str(e)}))
            
    return results

# ヘルパー関数：新しい画面の状態をキャプチャし、戻り値の形式にパッケージ化する
def get_function_responses(page, results):
    screenshot_bytes = page.screenshot(type="png")
    current_url = page.url
    
    function_responses = []
    for name, result in results:
        response_data = {"url": current_url, **result}
        function_responses.append({
            "name": name,
            "response": response_data,
            "screenshot": screenshot_bytes
        })
    return function_responses

# (genai APIキーを設定していることを確認してください)
import google.genai as genai
from google.genai import types

# --- 完全なエージェントループのメインプログラム ---
try:
    # 1. モデルを設定する
    model = genai.GenerativeModel(
        'gemini-2.5-computer-use-preview-10-2025',
        tools=[types.Tool(
            computer_use=types.ComputerUse(
                environment=types.Environment.ENVIRONMENT_BROWSER
            )
        )]
    )
    chat = model.start_chat()

    # 2. タスクを初期化する
    USER_PROMPT = "aistudio.google.comにアクセスして、agentsに関するドキュメントを検索してください"
    print(f"目標: {USER_PROMPT}")
    
    initial_screenshot = page.screenshot(type="png")
    
    # 3. エージェントループに入る
    turn_limit = 10
    for i in range(turn_limit):
        print(f"\n--- ターン {i+1} ---")
        
        # モデルにリクエストを送信する
        if i == 0:
            response = chat.send_message(
                [USER_PROMPT, initial_screenshot],
            )
        else:
            response = chat.send_message(function_responses)
            
        # モデルの応答を受信して実行する
        candidate = response.candidates[0]
        
        if not any(part.function_call for part in candidate.content.parts):
            print("エージェントが完了しました:", candidate.content.parts[0].text)
            break
        
        results = execute_function_calls(candidate, page, SCREEN_WIDTH, SCREEN_HEIGHT)
        
        # 新しい状態をキャプチャして次のターンに備える
        print("-> 新しい状態をキャプチャしています...")
        function_responses = get_function_responses(page, results)
        
finally:
    # リソースをクリーンアップする
    print("\nタスクが終了しました。ブラウザを閉じています...")
    browser.close()
    playwright.stop()