firebirdテクテクテクブログ

1
2
3
4
5
6
7
8

# 基本的な欠損値削除
df.dropna()  # 全ての欠損値を含む行を削除
df.dropna(subset=['重要な列'])  # 特定列の欠損値のみ

# 欠損値の補完
df.fillna(method='ffill')  # 前方補完
df.fillna(df.mean())  # 平均値で補完
df.interpolate()  # 線形補間

 1
 2
 3
 4
 5
 6
 7
 8
 9
10

from sklearn.decomposition import NMF
from sklearn.metrics.pairwise import cosine_similarity

# 行列分解による潜在因子抽出
model = NMF(n_components=20, random_state=42)
user_features = model.fit_transform(user_mountain_matrix)
mountain_features = model.components_

# コサイン類似度による推薦
similarities = cosine_similarity(user_features, mountain_features)

1
2
3
4
5
6
7
8

# PyO3-Arrowによる高性能データ処理
import pyarrow as pa
from your_rust_extension import process_data_zero_copy

# Pythonオブジェクト → Arrow → Rust → Arrow → Python
arrow_table = pa.Table.from_pandas(df)
result = process_data_zero_copy(arrow_table)
optimized_df = result.to_pandas()

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11

import whisper
from transformers import pipeline

# 音声テキスト変換
model = whisper.load_model("base")
transcript = model.transcribe("audio.wav")

# 感情分析
emotion_classifier = pipeline("text-classification", 
                            model="cardiffnlp/twitter-roberta-base-emotion")
emotions = emotion_classifier(transcript["text"])

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12

# プロジェクト初期化（仮想環境自動作成）
uv init my-project
cd my-project

# 依存関係の追加（自動ロック）
uv add pandas numpy scikit-learn

# 開発依存関係
uv add --dev pytest black mypy

# 高速インストール
uv sync  # requirements.lockから復元

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29

from typing import Optional, List, Dict, Any
from dataclasses import dataclass

@dataclass
class ProcessResult:
    success: bool
    data: Optional[Dict[str, Any]] = None
    error_message: Optional[str] = None

def process_data(
    input_data: List[Dict[str, Any]],
    config: Optional[Dict[str, Any]] = None,
    *,  # Keyword-only arguments
    validate: bool = True,
    timeout: float = 30.0
) -> ProcessResult:
    """
    データ処理関数の実装例
    
    Args:
        input_data: 処理対象データのリスト
        config: 処理設定（オプション）
        validate: バリデーション実行フラグ
        timeout: タイムアウト時間（秒）
    
    Returns:
        ProcessResult: 処理結果オブジェクト
    """
    # 実装...

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17

# FastAPI + React統合例
from fastapi import FastAPI
from fastapi.staticfiles import StaticFiles
from fastapi.responses import FileResponse

app = FastAPI()

# React ビルド成果物の配信
app.mount("/static", StaticFiles(directory="frontend/build/static"), name="static")

@app.get("/api/data")
async def get_data():
    return {"message": "Hello from Python!"}

@app.get("/{path:path}")
async def serve_react_app(path: str):
    return FileResponse("frontend/build/index.html")

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27

import pytest
from unittest.mock import patch, MagicMock

class TestDataProcessor:
    @pytest.fixture
    def sample_data(self):
        return [{"id": 1, "value": 100}, {"id": 2, "value": 200}]
    
    @pytest.fixture
    def mock_database(self):
        with patch('myapp.database.get_connection') as mock:
            mock.return_value = MagicMock()
            yield mock
    
    def test_process_data_success(self, sample_data, mock_database):
        result = process_data(sample_data)
        assert result.success is True
        assert len(result.data) == 2
    
    @pytest.mark.parametrize("invalid_input,expected_error", [
        ([], "Empty data"),
        ([{"invalid": "format"}], "Missing required fields"),
    ])
    def test_process_data_validation(self, invalid_input, expected_error):
        result = process_data(invalid_input)
        assert result.success is False
        assert expected_error in result.error_message

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17

# 効率的な文字列分割
text = "apple,banana,cherry,date"

# 基本分割
fruits = text.split(',')

# 最大分割数指定
name, *values = "key:value1:value2:value3".split(':', 1)

# 正規表現による複雑な分割
import re
tokens = re.split(r'[,;|]', complex_text)

# パフォーマンス重視の場合
from io import StringIO
import csv
reader = csv.reader(StringIO(text))

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11

data = {"b": 2, "a": 1, "c": 3}

# キーでソート
sorted_by_key = dict(sorted(data.items()))

# 値でソート
sorted_by_value = dict(sorted(data.items(), key=lambda x: x[1]))

# 複合条件ソート
complex_data = [{"name": "Alice", "age": 30}, {"name": "Bob", "age": 25}]
sorted_complex = sorted(complex_data, key=lambda x: (x["age"], x["name"]))

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17

# パッケージ管理
uv  # 高速パッケージマネージャー

# コード品質
black  # フォーマッター
mypy   # 静的型チェック
ruff   # 高速リンター

# テスト
pytest        # テストフレームワーク
pytest-cov   # カバレッジ測定
hypothesis   # プロパティベーステスト

# 開発効率
ipython      # 対話環境
jupyter      # ノートブック
rich         # 美しいコンソール出力

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19

name: Python CI
on: [push, pull_request]
jobs:
  test:
    runs-on: ubuntu-latest
    strategy:
      matrix:
        python-version: ["3.10", "3.11", "3.12"]
    steps:
    - uses: actions/checkout@v4
    - uses: astral-sh/setup-uv@v1
    - name: Install dependencies
      run: uv sync
    - name: Run tests
      run: uv run pytest --cov=src
    - name: Type check
      run: uv run mypy src/
    - name: Lint
      run: uv run ruff check src/