Параллельный ввод-вывод cuPyNumeric-массивов в HDF5

★ 7.6 · content

cupynumeric-hdf5 — это скилл для Claude Code, который обеспечивает параллельное чтение и запись cuPyNumeric-массивов в формате HDF5 через модуль legate.io.hdf5. Поддерживает три операции: to_file записывает массив в .h5-файл как виртуальный датасет (каждый ранк пишет свой тайл независимо), from_file загружает HDF5-датасет в распределённый массив, from_file_batched читает большой файл чанками без загрузки целиком в память. Требует cuPyNumeric и Legate 26.01 или новее, а также h5py (conda install -c conda-forge h5py) — модуль импортирует его при загрузке. Подходит для сохранения больших массивов в единый .h5-файл, передачи данных в HPC-пайплайн и ускорения дискового I/O через GPUDirect Storage; не предназначен для Parquet, Zarr, .npz или чистого h5py без cuPyNumeric.