Hugging Face⁠Storage Bucketsやモデル/データセットのリポジトリをローカルにマウントできるhf-mountを公開

Hugging Faceは2026年3月24日、同社のStorage Bucketsや、⁠Hugging Face上の)モデル/データセットのリポジトリをローカルファイルシステムとしてマウントするhf-mountを公開した。現時点で公開されている実行ファイルは、Linux(x86_64、aarch64)およびmacOS Apple Silicon向けとなっている。

Storage Bucketsは、Hugging Faceが提供するS3ライクな更新可能なオブジェクトストレージであり、Hub上のリポジトリはモデルやデータセットを配布するリポジトリである。hf-mountは、こうしたStorage Bucketsやリポジトリをローカルのディレクトリのように扱えるようにするツール。ファイルは初回アクセス時に必要な分だけ取得されるため、すべてを事前にダウンロードする必要はなくなる。

この仕組みは、ファイルシステムをマウントする方式であるNFSまたはFUSEで実現される。hf-mountのドキュメントでは、root権限やカーネル拡張が不要なNFSが推奨されている(FUSEはより緊密なカーネル統合を提供するが、root権限、またはmacOSではmacFUSEが必要となる⁠⁠。

このhf-mountを活用することで、ローカルマシンのディスクより100倍大きいリモートストレージも扱えるとHugging FaceのCEOであるClement Delangue氏は紹介している。

hf-mountのインストールは、次のコマンドで行える。

curl -fsSL https://raw.githubusercontent.com/huggingface/hf-mount/main/install.sh | sh

公開リポジトリや公開Storage Bucketsであれば、特別な設定をしなくてもそのまま利用できる。非公開のStorage Bucketsやリポジトリにアクセスする場合は、Hugging Faceへのアクセス認証に使うHF_TOKENを環境変数に設定するか、--hf-tokenを用いて明示的に渡す必要がある。

Storage Bucketsは次のようにマウントする。

hf-mount start bucket myuser/my-bucket /tmp/data

また、モデルやデータセットのリポジトリに対しても、読み取り専用でマウントできる。

hf-mount start repo openai/gpt-oss-20b /tmp/gpt-oss

マウント後は、ローカルのディレクトリのようにファイルを参照できる。たとえば、マウントしたモデルは次のように読み込める。

from transformers import AutoModelForCausalLM
model = AutoModelForCausalLM.from_pretrained("/tmp/gpt-oss")

Head of ProductのVictor Mustar氏は、活用例として以下のような使い方を挙げている

  • 5TB規模のデータセットをローカルフォルダのようにマウントし、DuckDBで必要な部分だけをクエリする
  • モデルリポジトリをUSBドライブのようにlscatで参照する
  • 読み書き可能な共有バケットを、ML成果物向けのチーム共有ドライブとして使う
  • KubernetesのPodで、モデルを事前にダウンロードするinit containerを省略する
  • マウントしたGGUFをllama.cppから参照して推論を実行する

おすすめ記事

記事・ニュース一覧