- データ: 1,000万行
- ハードウェア: 一般的なノートPC
- ファイル形式: CSV
- GroupBy 操作: DataStore は最大 19.93 倍高速
- 複雑なパイプライン: DataStore は 5〜6 倍高速 (SQL プッシュダウンの効果)
- 単純なスライス操作: 性能は同程度で、差はほとんどない
- 最適なユースケース: GroupBy/集約を含む複数ステップの操作
- ゼロコピー:
to_df()ではデータ変換のオーバーヘッドがない
ほとんどのケースでは、DataStore は pandas と同等以上の性能を発揮します。ただし、次のような特定のケースでは、pandas のほうがわずかに高速な場合があります:
重要DataStore が「遅い」ケースでも、通常は pandas と同等の性能 であり、実用上の差はほとんどありません。複雑な操作における DataStore の利点は、こうしたケースを大きく上回ります。実行を細かく制御するには、実行エンジン Configuration を参照してください。
DataStore では、pandas DataFrame の読み書きに ゼロコピー を使用します。つまり、次のことを意味します。
to_df()は実質的にコストがかからず、シリアライゼーションやメモリコピーも発生しません- pandas DataFrame から DataStore を作成する処理は瞬時に完了します
- メモリは DataStore と pandas のビューの間で共有されます
集計負荷の高いワークロードで、pandas の厳密な出力フォーマット (行順、MultiIndex のカラム、dtype の補正など) が不要な場合は、スループットを最大化するためにパフォーマンスモードを有効にします。