Во-первых, спросите, что измеряют эти цифры.
В отчетах о производительности блокчейна часто упоминаются TPS, задержка и стоимость. Транзакции могут быть простыми переводами, сложными вызовами контрактов или пакетными операциями; их нельзя напрямую сравнивать просто потому, что все они называются транзакциями. Сначала запишите рабочую нагрузку, находится ли она фактически в блокчейне, статистический период и формулу расчета, а затем посмотрите на заключение. В этой статье обсуждаются методы чтения, не публикуется текущий рейтинг конкретной цепочки и не используются экспериментальные данные в качестве основы для инвестиций.
Результаты могут зависеть от экспериментальной среды.
На тестирование влияют аппаратное обеспечение, пропускная способность сети, количество узлов, географическое распределение и наборы данных. Частные среды отличаются от открытых сетей, и идеальная параллельность не гарантирует хорошего долговременного пользовательского опыта. Проверьте, доступны ли код, версия, параметры и исходные данные публично, и существует ли независимое повторное тестирование; если доступны только графики без подтверждающих данных, воспроизводимость следует указать как неизвестную.
Разделение скорости отправки и окончательности
Прием запросов системой, выполнение транзакций, создание блоков и достижение какой-либо формы окончательности не являются одновременными событиями. Так называемый ответ на уровне миллисекунд может относиться только к приему запроса фронтендом или сортировщиком, а не к окончательному расчету. При сравнении задержек четко указывайте начальную и конечную точки, а также различайте средние значения, квантили и выбросы; единственный самый быстрый результат не может описать производительность во время перегрузки или сбоев.
Низкие комиссии требуют учета включенных затрат
В котировках может быть указан только один уровень комиссий за исполнение, исключая публикацию данных, мостовые операции, платежные услуги или затраты на выход. Субсидии и тестовые токены также могут влиять на результаты. Проверяйте одни и те же активы, нагрузку и временной интервал; не описывайте краткосрочные выгоды как постоянные затраты протокола. Не следует автоматически приравнивать «низкую стоимость» к безопасности активов или устойчивости приложения.
Анализируйте статьи, используя сравнительную таблицу.
Таблица должна включать версию протокола, тестовую сеть, оборудование, узлы, нагрузку, процент успешных результатов, пропускную способность, определение задержки, диапазон стоимости и ссылки для воспроизведения. При обновлении статьи следует сохранять старую версию и причину пересмотра. Результаты исследований, объявления о проектах и заголовки СМИ следует цитировать отдельно, избегая снятия ограничений, связанных с авторством, при перепечатке; конфликты интересов также должны быть правдиво раскрыты.
Как писать выводы с ограничениями.
Допустимо указать, что определенный показатель наблюдался при определенных условиях и в определенной версии, но неуместно писать, что все реальные пользователи будут иметь одинаковый опыт. Если не проводится независимое повторное тестирование, следует четко указать, что технология является всесторонне превосходной на основе единого рейтингового списка. Данная статья не поддерживает ни один блокчейн и не гарантирует применимость результатов тестирования к операциям с фондами; Безопасность сети, управление, доступность данных и возможности восстановления требуют дальнейшей оценки.