Python テーブル関数を使って Apache Arrow をクエリする方法を学びます。
まず、仮想環境を作成します。
ipython を使用します。次を実行して起動できます。
さらに多くのファイルをダウンロードする場合は、
aws s3 ls を使用してすべてのファイルの一覧を取得し、上記のコマンドを適宜更新してください。pyarrow パッケージから Parquet モジュールをインポートします。
shape 属性を使うことで、行数とカラム数を取得できます:
quadkey と tile.* のカラムを除外したうえで、残りのすべてのカラムについて平均値と最大値を計算します。