firebirdテクテクテクブログ

1
2
3
4

ALTER PROJECT ${PROJECT_NAME}
SET OPTIONS (
  `region-${LOCATION}.query_runtime` = 'advanced'
);

1
2
3
4

ALTER PROJECT my-project-id
SET OPTIONS (
  `region-asia-northeast1.query_runtime` = 'advanced'
);

1
2
3
4

ALTER PROJECT ${PROJECT_NAME}
SET OPTIONS (
  `region-${LOCATION}.default_query_optimizer_options` = 'adaptive=on'
);

1
2
3
4

ALTER PROJECT my-project-id
SET OPTIONS (
  `region-us.default_query_optimizer_options` = 'adaptive=on'
);

1
2
3
4
5
6
7
8
9

-- 過去の実行履歴から最適な結合順序を判断
SELECT 
  c.customer_name,
  o.order_date,
  p.product_name
FROM customers c
JOIN orders o ON c.customer_id = o.customer_id
JOIN products p ON o.product_id = p.product_id
-- BigQueryが自動的に最も効率的な結合順序を選択

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23

from google.cloud import bigquery
from google.cloud.bigquery import JobCreationMode

# Optional Modeを有効化したクライアントの作成
optional_mode_client = bigquery.Client(
    default_job_creation_mode=JobCreationMode.JOB_CREATION_OPTIONAL
)

# クエリの実行
query = """
SELECT 
  product_name,
  SUM(sales_amount) as total_sales
FROM sales_data
WHERE date = CURRENT_DATE()
GROUP BY product_name
LIMIT 10
"""

# ジョブ作成オーバーヘッドなしで実行
results = optional_mode_client.query(query)
for row in results:
    print(f"{row.product_name}: {row.total_sales}")

1
2
3
4
5
6

-- WHERE句の条件に基づいて、不要なデータブロックをスキップ
SELECT *
FROM large_table
WHERE created_date >= '2025-01-01'
  AND status = 'ACTIVE'
-- CMETAが自動的に関連するデータブロックのみを読み取り

1
2
3
4
5
6

-- 従来：全データをスキャン
-- CMETA使用後：条件に一致するブロックのみをスキャン
SELECT COUNT(*)
FROM billion_row_table
WHERE user_id = 'specific_user_123'
-- 実行時間が数十倍高速化することも

1
2
3
4
5
6
7

# 1. 開発環境で検証
gcloud config set project dev-project
# Advanced Runtimeを有効化
bq query --use_legacy_sql=false "ALTER PROJECT dev-project SET OPTIONS (\`region-asia-northeast1.query_runtime\` = 'advanced');"

# 2. パフォーマンステスト実施
# 3. 本番環境への適用

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12

-- クエリ実行時間の比較
-- 機能有効化前後で同じクエリを実行し、実行時間を記録

-- INFORMATION_SCHEMAを使用した分析
SELECT 
  query,
  total_slot_ms,
  total_bytes_processed,
  creation_time
FROM `region-asia-northeast1`.INFORMATION_SCHEMA.JOBS_BY_PROJECT
WHERE creation_time >= TIMESTAMP_SUB(CURRENT_TIMESTAMP(), INTERVAL 1 DAY)
ORDER BY creation_time DESC

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15

# すべての最適化を有効化した環境設定
import os
from google.cloud import bigquery

# プロジェクトレベルの設定（事前に実施）
# 1. Advanced Runtime有効化
# 2. History-based Optimization有効化
# 3. CMETAは自動有効

# アプリケーションレベルの設定
client = bigquery.Client(
    default_job_creation_mode=bigquery.JobCreationMode.JOB_CREATION_OPTIONAL
)

# 最適化されたクエリ実行環境の完成

1
2
3
4
5

-- 設定が正しく適用されているか確認
SELECT *
FROM `region-${LOCATION}`.INFORMATION_SCHEMA.PROJECT_OPTIONS
WHERE option_name LIKE '%query_runtime%'
   OR option_name LIKE '%optimizer%';

1
2
3
4
5
6

# フォールバック処理の実装
try:
    results = optional_client.query(query)
except Exception as e:
    print(f"Optional mode failed, falling back to normal mode: {e}")
    results = normal_client.query(query)

1
2
3
4

-- クエリヒントを使用して最適化を無効化
#standardSQL
# @{disable_optimizations=true}
SELECT * FROM your_table