Вопросы с тегом 'hdf5'

Формат иерархических данных (HDF5) - это формат двоичного файла, предназначенный для хранения большого количества числовых данных.
16

Рабочие потоки "больших данных" с использованием pandas

Я пытался много раз продумать ответ на этот вопрос, изучая pandas. Я использую SAS для повседневной работы, и это отлично подходит для его поддержки из-за ядра. Однако SAS является ужасным как часть программного обеспечения по многим другим причинам...
10 янв. '13 в 16:20
8

Как читать файлы HDF5 в Python

Я пытаюсь прочитать данные из файла hdf5 в Python. Я могу прочитать файл hdf5 с помощью h5py, но я не могу понять, как получить доступ к данным в файле. Мой код import h5py import numpy as np f1 = h5py.File(file_name,'r+') Это работ...
27 янв. '15 в 12:32
7

Мнения о NetCDF и HDF5 для хранения научных данных?

У кого-то есть опыт работы с NetCDF и HDF5, чтобы дать им некоторые плюсы/минусы как способ хранения научных данных? Я использовал HDF5 и хотел бы читать/писать через Java, но интерфейс по сути является оберткой вокруг библиотек C, которую я нашел с...
02 июл. '09 в 15:29
1

Есть ли скорость анализа или использование памяти для использования HDF5 для хранения больших массивов (вместо плоских двоичных файлов)?

Я обрабатываю большие 3D-массивы, которые мне часто нужно нарезать различными способами, чтобы делать разнообразный анализ данных. Типичный "куб" может быть ~ 100 ГБ (и, вероятно, в будущем будет больше) Похоже, что типичный рекомендуемый формат фай...
30 дек. '15 в 18:00
2

Опыт использования h5py для проведения аналитической работы над большими данными в Python?

Я занимаюсь многими статистическими работами и использую Python в качестве основного языка. Некоторые из наборов данных, с которыми я работаю, могут принимать 20 ГБ памяти, что делает работу с ними с использованием функций памяти в numpy, scipy и PyI...
02 февр. '11 в 7:11
2

HDF5 - concurrency, производительность сжатия и ввода/вывода

У меня есть следующие вопросы о производительности HDF5 и concurrency: Поддерживает ли HDF5 одновременный доступ к записи? Concurrency соображения в стороне, как производительность HDF5 с точки зрения производительности ввода/вывода (влияет ли ...
18 мая '13 в 19:46
2

Оценка HDF5: Какие ограничения/возможности HDF5 предоставляют для моделирования данных?

Мы оцениваем технологии, которые мы будем использовать для хранения данных, которые мы собираем во время анализа кода C/С++. В случае С++ объем данных может быть относительно большим, ~ 20Mb на TU. После прочтения следующего SO answer он заставил ме...
13 февр. '09 в 18:50
4

Как работать с файлами hdf5 в R?

У меня есть файл в формате hdf5. Я знаю, что он должен быть матрицей, но я хочу прочитать эту матрицу в R, чтобы я мог ее изучить. Я вижу, что есть пакет h5r, который должен помочь с этим, но я не вижу никакого простого для чтения/понимания учебника...
12 апр. '13 в 14:57
8

Как HDF5 отличается от папки с файлами?

Я работаю над проектом с открытым исходным кодом, касающимся добавления метаданных в папки. Предоставленный (Python) API позволяет вам просматривать и получать доступ к метаданным, как это была еще одна папка. Потому что это еще одна папка. \folder\...
02 мар. '14 в 9:11
6

Сохранение в файле массива или DataFrame вместе с другой информацией

Статистическое программное обеспечение Stata позволяет сохранять короткие текстовые фрагменты в наборе данных. Это достигается либо с использованием notes и/или characteristics. Это функция, которая имеет большое значение для меня, поскольку она ...
09 апр. '18 в 19:21
2

Улучшить pandas (PyTables?) Производительность записи таблицы HDF5

Я использую pandas для исследования в течение примерно двух месяцев. С большим количеством наборов данных событий среднего размера pandas + PyTables (интерфейс HDF5) делает огромную работу, позволяя мне обрабатывать гетерогенные данные, используя вс...
19 нояб. '13 в 22:08
2

HDF5 в Java: В чем разница между API-интерфейсом availabe?

Я только что открыл формат HDF5, и я рассматриваю возможность его использования для хранения трехмерных данных, распространяемых по кластеру серверов приложений Java. Я узнал, что для Java доступно несколько реализаций, и хотелось бы узнать различия ...
10 февр. '12 в 11:31
2

Как добавить данные в один конкретный набор данных в файле hdf5 с h5py

Я ищу возможность добавить данные в существующий набор данных в файле .h5 с помощью Python (h5py). Краткое введение в мой проект: я пытаюсь обучить CNN, используя данные медицинского изображения. Из-за огромного объема данных и интенсивного использо...
02 нояб. '17 в 10:23
4

Каковы недостатки использования файлов .Rdata по сравнению с HDF5 или netCDF?

Мне было предложено изменить программное обеспечение, которое в настоящее время экспортирует файлы .Rdata, чтобы они экспортировались в "независимый от платформы двоичный формат", такой как HDF5 или netCDF. Были даны две причины: Файлы Rdata могут ...
20 окт. '11 в 15:08
4

Python, PyTables, Java - связывание всех

Вопрос в двух словах Какой лучший способ заставить Python и Java хорошо играть друг с другом? Более подробное объяснение У меня несколько сложная ситуация. Я сделаю все возможное, чтобы объяснить как в картинках и словах. Вот текущая архитектура ...
23 дек. '09 в 16:14