DuckDB のアーキテクチャ — なぜ速いのか

行指向（Row Store）
┌──────────────────────────────────────┐
│ id=1, name="Alice",  score=95.5, ... │  ← 1行目
│ id=2, name="Bob",    score=87.0, ... │  ← 2行目
│ id=3, name="Charlie",score=92.3, ... │  ← 3行目
└──────────────────────────────────────┘

列指向（Column Store）
┌────────────────────────┐
│ id:    1,  2,  3, ...  │  ← id 列
│ name:  Alice, Bob, ... │  ← name 列
│ score: 95.5, 87.0, ... │  ← score 列
└────────────────────────┘

従来モデル（Volcano Model）
  クエリ実行エンジン
    ↓ 1行リクエスト
  フィルタノード
    ↓ 1行リクエスト
  スキャンノード
    → 1行ずつ返す

ベクトル化実行（Vectorized Execution）
  クエリ実行エンジン
    ↓ 2048行まとめてリクエスト
  フィルタノード（2048行をSIMDで一括評価）
    ↓ 結果の2048行
  スキャンノード
    → 2048行を一括で返す

SIMD 演算の例（128ビット SIMD で 4つの int32 を同時加算）
[1, 2, 3, 4]
[5, 6, 7, 8]
     ↓ SIMD 加算（1命令）
[6, 8, 10, 12]

SELECT name FROM users WHERE score > 90;

全行スキャン → JOIN/集計 → フィルタ(score > 90) → name を取得

スキャン時にフィルタ(score > 90) → 該当行のみ処理 → name を取得

SELECT name, score FROM users;  -- id は不要

import duckdb

# スレッド数を確認
con = duckdb.connect()
print(con.execute("SELECT current_setting('threads')").fetchone())
# → ('4',)

SET memory_limit = '4GB';
SET threads = 2;

import duckdb, time

con = duckdb.connect()
con.execute('INSTALL tpch; LOAD tpch;')
con.execute('CALL dbgen(sf=1);')  # sf=N で Scale Factor を指定

SELECT l_returnflag, l_linestatus,
       COUNT(*) AS count_order, SUM(l_quantity) AS sum_qty
FROM lineitem
WHERE l_shipdate <= DATE '1998-09-02'
GROUP BY l_returnflag, l_linestatus
ORDER BY l_returnflag, l_linestatus;

SELECT SUM(l_extendedprice * l_discount) AS revenue
FROM lineitem
WHERE l_shipdate >= DATE '1994-01-01'
  AND l_shipdate < DATE '1995-01-01'
  AND l_discount BETWEEN 0.05 AND 0.07
  AND l_quantity < 24;

SELECT n_name, SUM(l_extendedprice * (1 - l_discount)) AS revenue
FROM customer, orders, lineitem, supplier, nation, region
WHERE c_custkey = o_custkey
  AND l_orderkey = o_orderkey
  AND l_suppkey = s_suppkey
  AND c_nationkey = s_nationkey
  AND s_nationkey = n_nationkey
  AND n_regionkey = r_regionkey
  AND r_name = 'ASIA'
  AND o_orderdate >= DATE '1994-01-01'
  AND o_orderdate < DATE '1995-01-01'
GROUP BY n_name ORDER BY revenue DESC;

import duckdb

con = duckdb.connect()
# Arrow Table として取得（ゼロコピー）
arrow_table = con.execute("SELECT * FROM range(1000000) t(i)").fetch_arrow_table()
print(arrow_table.schema)