Параллельная загрузка шардированных данных в cuPyNumeric

★ 7.6 · content

cupynumeric-parallel-data-load — это скилл для Claude Code, который загружает шардированные датасеты (sharded .npy, Parquet/Arrow, HDF5, raw binary и нестандартные форматы) в распределённый cuPyNumeric ndarray через ручной partition и запуск leaf @task с вариантами CPU/OMP/GPU. Внутри используются Legate Python tasks, читающие шарды параллельно на всех доступных процессорах: число строк в шардах может различаться — совпадать обязаны только dtype и trailing-оси. Скилл нужен тогда, когда встроенные загрузчики cupynumeric.load или legate.io.hdf5.from_file не подходят: например, при замене последовательного np.concatenate параллельными GPU-чтениями или при работе с многофайловыми шардированными данными. Эталонная реализация — assets/examples/parallel_npy_load.py, поддерживает однонодовый запуск (legate --gpus 4) и многонодовый через Slurm.