diff --git a/.env.benchmark.example b/.env.benchmark.example
new file mode 100644
index 000000000..9d63e1fed
--- /dev/null
+++ b/.env.benchmark.example
@@ -0,0 +1,11 @@
+# Путь к конфигурации EDT (можно заменить на свою)
+BENCH_EDT_PATH=src/test/resources/ext/edt/ssl_3_1/configuration
+
+# Путь к конфигурации Designer
+BENCH_DESIGNER_PATH=src/test/resources/ext/designer/ssl_3_1/src/cf
+
+# Дополнительные JVM-аргументы для JMH
+BENCH_JVM_ARGS=-Xms4g -Xmx8g
+
+# Профилировщики JMH (через запятую, без пробелов)
+BENCH_PROFILERS=com.github._1c_syntax.bsl.mdclasses.benchmark.MemoryProfiler
diff --git a/.gitignore b/.gitignore
index bc0e40a0f..3f8c92e81 100644
--- a/.gitignore
+++ b/.gitignore
@@ -23,3 +23,4 @@ Gradle_*.xml
benchmark-results/**
.vscode/
+/.env.benchmark
diff --git a/benchmark-analyze-results.py b/benchmark-analyze-results.py
index ae7f564a7..e2dbc9a37 100644
--- a/benchmark-analyze-results.py
+++ b/benchmark-analyze-results.py
@@ -1,36 +1,48 @@
+import argparse
import json
import os
+import matplotlib
+matplotlib.use('Agg')
import matplotlib.pyplot as plt
import numpy as np
from collections import defaultdict
-def load_and_analyze():
- """Загружает и анализирует результаты с правильной фильтрацией"""
+ALLOCATION_METRICS = {'+gc.alloc.rate', 'gc.alloc.rate', 'alloc.rate'}
- old_file = 'benchmark-results/old-results.json'
- new_file = 'benchmark-results/new-results.json'
- print("🔍 ЗАГРУЗКА РЕЗУЛЬТАТОВ С ПРАВИЛЬНОЙ ФИЛЬТРАЦИЕЙ")
- print("=" * 60)
+def parse_args():
+ parser = argparse.ArgumentParser(description='Анализ результатов JMH-бенчмарков')
+ parser.add_argument('--old', default='benchmark-results/old-results.json',
+ help='Путь к JSON с результатами старой версии')
+ parser.add_argument('--new', default='benchmark-results/new-results.json',
+ help='Путь к JSON с результатами новой версии')
+ parser.add_argument('--output', default='benchmark-results',
+ help='Директория для выходных файлов')
+ parser.add_argument('--html', action='store_true', default=True,
+ help='Генерировать HTML-отчёт')
+ return parser.parse_args()
- # Загружаем данные
+
+def load_data(old_file, new_file):
with open(old_file, 'r') as f:
old_data = json.load(f)
with open(new_file, 'r') as f:
new_data = json.load(f)
+ return old_data, new_data
+
- # Извлекаем данные для графиков
+def extract_metrics(old_data, new_data):
performance_data = []
memory_data = []
gc_data = []
+ allocation_data = []
for old_bench, new_bench in zip(old_data, new_data):
bench_name = old_bench['benchmark'].split('.')[-1]
- # Производительность
old_time = old_bench['primaryMetric']['score']
new_time = new_bench['primaryMetric']['score']
- change = ((old_time - new_time) / old_time) * 100
+ change = ((old_time - new_time) / old_time) * 100 if old_time != 0 else 0
performance_data.append({
'name': bench_name,
@@ -39,65 +51,39 @@ def load_and_analyze():
'change': change
})
- # Память и GC из secondaryMetrics - УПРОЩЕННАЯ ФИЛЬТРАЦИЯ
old_secondary = old_bench.get('secondaryMetrics', {})
new_secondary = new_bench.get('secondaryMetrics', {})
- print(f"\n📋 Бенчмарк: {bench_name}")
- print(f" Вторичных метрик: {len(old_secondary)}")
-
- for metric_name, old_metric in old_secondary.items():
- if metric_name in new_secondary:
- new_metric = new_secondary[metric_name]
-
- # ПРОСТАЯ ФИЛЬТРАЦИЯ - смотрим на фактические имена метрик
- print(f" 🔍 Анализ метрики: '{metric_name}'")
-
- # Метрики памяти - берем ВСЕ метрики кроме gc
- if 'gc.' not in metric_name and ('memory' in metric_name or 'usedmemory' in metric_name.lower()):
- memory_data.append({
- 'benchmark': bench_name,
- 'metric': metric_name,
- 'short_metric': metric_name.split('.')[-1],
- 'category': get_memory_category(metric_name),
- 'old': old_metric['score'],
- 'new': new_metric['score'],
- 'unit': old_metric.get('scoreUnit', ''),
- 'change': ((old_metric['score'] - new_metric['score']) / old_metric['score']) * 100 if old_metric['score'] != 0 else 0
- })
- print(f" ✅ ДОБАВЛЕНО В ПАМЯТЬ: {old_metric['score']} → {new_metric['score']}")
-
- # Метрики GC
- elif 'gc.' in metric_name:
- gc_data.append({
- 'benchmark': bench_name,
- 'metric': metric_name,
- 'short_metric': metric_name.split('.')[-1],
- 'old': old_metric['score'],
- 'new': new_metric['score'],
- 'unit': old_metric.get('scoreUnit', ''),
- 'change': ((old_metric['score'] - new_metric['score']) / old_metric['score']) * 100 if old_metric['score'] != 0 else 0
- })
- print(f" ✅ ДОБАВЛЕНО В GC: {old_metric['score']} → {new_metric['score']}")
+ for metric_name in old_secondary:
+ if metric_name not in new_secondary:
+ continue
+ old_metric = old_secondary[metric_name]
+ new_metric = new_secondary[metric_name]
+
+ entry = {
+ 'benchmark': bench_name,
+ 'metric': metric_name,
+ 'short_metric': metric_name.split('.')[-1],
+ 'old': old_metric['score'],
+ 'new': new_metric['score'],
+ 'unit': old_metric.get('scoreUnit', ''),
+ 'change': ((old_metric['score'] - new_metric['score']) / old_metric['score']) * 100 if old_metric['score'] != 0 else 0
+ }
+
+ if 'gc.' in metric_name:
+ if metric_name in ALLOCATION_METRICS or 'alloc' in metric_name.lower():
+ allocation_data.append(entry)
else:
- print(f" ❓ НЕ ОПРЕДЕЛЕНО: {metric_name}")
+ gc_data.append(entry)
+ elif 'memory' in metric_name:
+ memory_data.append(entry)
+ elif metric_name in ALLOCATION_METRICS or 'alloc' in metric_name.lower():
+ allocation_data.append(entry)
- print(f"\n📊 ИТОГО ИЗВЛЕЧЕНО:")
- print(f"🚀 Производительность: {len(performance_data)}")
- print(f"🧠 Память: {len(memory_data)}")
- print(f"🗑️ GC: {len(gc_data)}")
+ return performance_data, memory_data, gc_data, allocation_data
- # Покажем все найденные метрики памяти
- if memory_data:
- print(f"\n📋 ВСЕ метрики памяти:")
- memory_metrics = set(item['metric'] for item in memory_data)
- for i, metric in enumerate(memory_metrics):
- print(f" {i+1}. {metric}")
-
- return performance_data, memory_data, gc_data
def get_memory_category(metric_name):
- """Определяет категорию метрики памяти"""
metric_lower = metric_name.lower()
if 'heap' in metric_lower:
return 'heap'
@@ -107,281 +93,461 @@ def get_memory_category(metric_name):
return 'total'
elif 'pool' in metric_lower:
return 'pool'
- elif 'usedmemory' in metric_lower:
- return 'usedmemory'
else:
return 'other'
-def add_value_labels(ax, bars, values, format_str='{:.1f}', offset_factor=0.01):
- """Добавляет значения на столбцы графика"""
+
+def add_value_labels(ax, bars, values, fmt='{:.1f}', offset_factor=0.01):
for bar, value in zip(bars, values):
height = bar.get_height()
- ax.text(bar.get_x() + bar.get_width()/2., height + abs(height) * offset_factor,
- format_str.format(value),
+ ax.text(bar.get_x() + bar.get_width() / 2., height + abs(height) * offset_factor,
+ fmt.format(value),
ha='center', va='bottom', fontsize=8, fontweight='bold')
-def add_comparison_labels(ax, bars1, bars2, values1, values2, format_str='{:.1f}'):
- """Добавляет значения для двух наборов столбцов (старая/новая версия)"""
- # Для старых значений
+
+def add_comparison_labels(ax, bars1, bars2, values1, values2, fmt='{:.1f}'):
for bar, value in zip(bars1, values1):
height = bar.get_height()
- ax.text(bar.get_x() + bar.get_width()/2., height/2,
- format_str.format(value),
+ ax.text(bar.get_x() + bar.get_width() / 2., height / 2,
+ fmt.format(value),
ha='center', va='center', fontsize=8, fontweight='bold', color='white')
-
- # Для новых значений
for bar, value in zip(bars2, values2):
height = bar.get_height()
- ax.text(bar.get_x() + bar.get_width()/2., height/2,
- format_str.format(value),
+ ax.text(bar.get_x() + bar.get_width() / 2., height / 2,
+ fmt.format(value),
ha='center', va='center', fontsize=8, fontweight='bold', color='white')
-def create_visualizations(performance_data, memory_data, gc_data):
- """Создает визуализации с значениями на графиках"""
-
- fig = plt.figure(figsize=(16, 12))
- fig.suptitle('Сравнение производительности и потребления памяти', fontsize=16, fontweight='bold')
-
- # Если нет данных памяти, создаем упрощенный график
- if not memory_data and not gc_data:
- print("⚠️ Нет данных памяти и GC, создаем упрощенный график")
- # Только производительность
- if performance_data:
- # График производительности
- ax1 = plt.subplot(1, 2, 1)
- names = [p['name'] for p in performance_data]
- old_times = [p['old'] for p in performance_data]
- new_times = [p['new'] for p in performance_data]
-
- x = np.arange(len(names))
- width = 0.35
-
- bars1 = ax1.bar(x - width/2, old_times, width, label='Старая', alpha=0.7, color='blue')
- bars2 = ax1.bar(x + width/2, new_times, width, label='Новая', alpha=0.7, color='orange')
- ax1.set_title('Производительность (время, мс)', fontsize=12, fontweight='bold')
- ax1.set_ylabel('Время (мс)')
- ax1.set_xticks(x)
- ax1.set_xticklabels(names, rotation=45, ha='right')
- ax1.legend()
- ax1.grid(True, alpha=0.3)
-
- # Добавляем значения на столбцы
- add_comparison_labels(ax1, bars1, bars2, old_times, new_times, '{:.1f}ms')
-
- # Изменения производительности
- if performance_data:
- ax2 = plt.subplot(1, 2, 2)
- changes = [p['change'] for p in performance_data]
- colors = ['green' if c > 0 else 'red' for c in changes]
+def create_visualizations(performance_data, memory_data, gc_data, allocation_data, output_dir):
+ has_memory = bool(memory_data)
+ has_gc = bool(gc_data)
+ has_allocation = bool(allocation_data)
- bars = ax2.bar(names, changes, color=colors, alpha=0.7)
- ax2.set_title('Изменение производительности (%)', fontsize=12, fontweight='bold')
- ax2.set_ylabel('Изменение (%)')
- ax2.set_xticklabels(names, rotation=45, ha='right')
- ax2.axhline(y=0, color='black', linestyle='-', alpha=0.3)
- ax2.grid(True, alpha=0.3)
+ if not has_memory and not has_gc and not has_allocation:
+ fig = plt.figure(figsize=(12, 5))
+ fig.suptitle('Сравнение производительности', fontsize=16, fontweight='bold')
- # Добавляем значения изменений
- add_value_labels(ax2, bars, changes, '{:+.1f}%')
-
- plt.tight_layout()
- plt.savefig('benchmark-results/performance-only.png', dpi=150, bbox_inches='tight')
- plt.show()
- return
-
- # Полная версия с памятью и GC
-
- # 1. График производительности
- if performance_data:
- ax1 = plt.subplot(2, 3, 1)
+ ax1 = plt.subplot(1, 2, 1)
names = [p['name'] for p in performance_data]
old_times = [p['old'] for p in performance_data]
new_times = [p['new'] for p in performance_data]
-
x = np.arange(len(names))
width = 0.35
-
- bars1 = ax1.bar(x - width/2, old_times, width, label='Старая', alpha=0.7, color='blue')
- bars2 = ax1.bar(x + width/2, new_times, width, label='Новая', alpha=0.7, color='orange')
- ax1.set_title('Производительность (время)', fontsize=12, fontweight='bold')
+ bars1 = ax1.bar(x - width / 2, old_times, width, label='Старая', alpha=0.7, color='#4A90D9')
+ bars2 = ax1.bar(x + width / 2, new_times, width, label='Новая', alpha=0.7, color='#E8A838')
+ ax1.set_title('Производительность (время, мс)', fontsize=12, fontweight='bold')
ax1.set_ylabel('Время (мс)')
ax1.set_xticks(x)
ax1.set_xticklabels(names, rotation=45, ha='right')
ax1.legend()
ax1.grid(True, alpha=0.3)
+ add_comparison_labels(ax1, bars1, bars2, old_times, new_times)
- # Добавляем значения
- add_comparison_labels(ax1, bars1, bars2, old_times, new_times, '{:.1f}ms')
-
- # 2. График изменений производительности
- if performance_data:
- ax2 = plt.subplot(2, 3, 2)
+ ax2 = plt.subplot(1, 2, 2)
changes = [p['change'] for p in performance_data]
- colors = ['green' if c > 0 else 'red' for c in changes]
-
+ colors = ['#27AE60' if c > 0 else '#E74C3C' for c in changes]
bars = ax2.bar(names, changes, color=colors, alpha=0.7)
- ax2.set_title('Изменение производительности', fontsize=12, fontweight='bold')
+ ax2.set_title('Изменение производительности (%)', fontsize=12, fontweight='bold')
ax2.set_ylabel('Изменение (%)')
ax2.set_xticklabels(names, rotation=45, ha='right')
ax2.axhline(y=0, color='black', linestyle='-', alpha=0.3)
ax2.grid(True, alpha=0.3)
-
- # Добавляем значения изменений
add_value_labels(ax2, bars, changes, '{:+.1f}%')
- # 3. График ключевых метрик памяти
- if memory_data:
- ax3 = plt.subplot(2, 3, 3)
+ plt.tight_layout()
+ png_path = os.path.join(output_dir, 'comprehensive-analysis-with-values.png')
+ plt.savefig(png_path, dpi=150, bbox_inches='tight')
+ plt.close()
+ print(f"✅ График сохранён: {png_path}")
+ return png_path
+
+ n_plots = 2
+ if has_memory:
+ n_plots += 2
+ if has_gc:
+ n_plots += 1
+ if has_allocation:
+ n_plots += 1
+
+ ncols = min(3, n_plots)
+ nrows = (n_plots + ncols - 1) // ncols
+ fig = plt.figure(figsize=(6 * ncols, 4 * nrows))
+ fig.suptitle('Сравнение производительности и потребления памяти', fontsize=16, fontweight='bold')
- # Выбираем ключевые метрики памяти для отображения
- key_metrics = ['usedMemory.heap', 'usedMemory.total', 'memory.heap.used', 'memory.total.used']
- display_data = []
+ plot_idx = 1
- for metric_name in key_metrics:
+ if performance_data:
+ ax = plt.subplot(nrows, ncols, plot_idx)
+ plot_idx += 1
+ names = [p['name'] for p in performance_data]
+ old_times = [p['old'] for p in performance_data]
+ new_times = [p['new'] for p in performance_data]
+ x = np.arange(len(names))
+ width = 0.35
+ bars1 = ax.bar(x - width / 2, old_times, width, label='Старая', alpha=0.7, color='#4A90D9')
+ bars2 = ax.bar(x + width / 2, new_times, width, label='Новая', alpha=0.7, color='#E8A838')
+ ax.set_title('Производительность (время)', fontsize=12, fontweight='bold')
+ ax.set_ylabel('Время (мс)')
+ ax.set_xticks(x)
+ ax.set_xticklabels(names, rotation=45, ha='right')
+ ax.legend()
+ ax.grid(True, alpha=0.3)
+ add_comparison_labels(ax, bars1, bars2, old_times, new_times)
+
+ ax = plt.subplot(nrows, ncols, plot_idx)
+ plot_idx += 1
+ changes = [p['change'] for p in performance_data]
+ colors = ['#27AE60' if c > 0 else '#E74C3C' for c in changes]
+ bars = ax.bar(names, changes, color=colors, alpha=0.7)
+ ax.set_title('Изменение производительности', fontsize=12, fontweight='bold')
+ ax.set_ylabel('Изменение (%)')
+ ax.set_xticklabels(names, rotation=45, ha='right')
+ ax.axhline(y=0, color='black', linestyle='-', alpha=0.3)
+ ax.grid(True, alpha=0.3)
+ add_value_labels(ax, bars, changes, '{:+.1f}%')
+
+ if has_memory:
+ ax = plt.subplot(nrows, ncols, plot_idx)
+ plot_idx += 1
+ key_metrics_names = ['memory.heap.used', 'memory.total.used', 'memory.nonHeap.used']
+ display_data = []
+ for mn in key_metrics_names:
for item in memory_data:
- if item['metric'] == metric_name:
+ if item['metric'] == mn:
display_data.append(item)
break
-
- # Если ключевых нет, берем первые 4
if not display_data:
display_data = memory_data[:4]
metric_labels = [f"{item['short_metric']}\n({item['benchmark']})" for item in display_data]
old_values = [item['old'] for item in display_data]
new_values = [item['new'] for item in display_data]
- units = [item['unit'] for item in display_data]
-
x = np.arange(len(metric_labels))
width = 0.35
-
- bars1 = ax3.bar(x - width/2, old_values, width, label='Старая', alpha=0.7, color='blue')
- bars2 = ax3.bar(x + width/2, new_values, width, label='Новая', alpha=0.7, color='orange')
- ax3.set_title('Ключевые метрики памяти', fontsize=12, fontweight='bold')
- ax3.set_ylabel(f'Память ({units[0] if units else "MB"})')
- ax3.set_xticks(x)
- ax3.set_xticklabels(metric_labels, rotation=45, ha='right')
- ax3.legend()
- ax3.grid(True, alpha=0.3)
-
- # Добавляем значения
- add_comparison_labels(ax3, bars1, bars2, old_values, new_values, '{:.1f}')
-
- else:
- ax3 = plt.subplot(2, 3, 3)
- ax3.text(0.5, 0.5, 'Нет данных памяти',
- ha='center', va='center', transform=ax3.transAxes, fontsize=12)
- ax3.set_title('Метрики памяти', fontsize=12, fontweight='bold')
-
- # 4. График изменений памяти
- if memory_data:
- ax4 = plt.subplot(2, 3, 4)
-
- # Группируем по категориям и усредняем изменения
+ bars1 = ax.bar(x - width / 2, old_values, width, label='Старая', alpha=0.7, color='#4A90D9')
+ bars2 = ax.bar(x + width / 2, new_values, width, label='Новая', alpha=0.7, color='#E8A838')
+ ax.set_title('Ключевые метрики памяти', fontsize=12, fontweight='bold')
+ ax.set_ylabel('Память (MB)')
+ ax.set_xticks(x)
+ ax.set_xticklabels(metric_labels, rotation=45, ha='right')
+ ax.legend()
+ ax.grid(True, alpha=0.3)
+ add_comparison_labels(ax, bars1, bars2, old_values, new_values)
+
+ ax = plt.subplot(nrows, ncols, plot_idx)
+ plot_idx += 1
categories = defaultdict(list)
for item in memory_data:
- categories[item['category']].append(item['change'])
-
- avg_changes = {cat: sum(changes)/len(changes) for cat, changes in categories.items()}
-
+ cat = get_memory_category(item['metric'])
+ categories[cat].append(item['change'])
+ avg_changes = {cat: sum(changes) / len(changes) for cat, changes in categories.items()}
if avg_changes:
cat_names = list(avg_changes.keys())
- changes = list(avg_changes.values())
- colors = ['green' if c > 0 else 'red' for c in changes]
-
- bars = ax4.bar(cat_names, changes, color=colors, alpha=0.7)
- ax4.set_title('Изменение памяти по категориям', fontsize=12, fontweight='bold')
- ax4.set_ylabel('Среднее изменение (%)')
- ax4.set_xticklabels(cat_names, rotation=45, ha='right')
- ax4.axhline(y=0, color='black', linestyle='-', alpha=0.3)
- ax4.grid(True, alpha=0.3)
-
- # Добавляем значения изменений
- add_value_labels(ax4, bars, changes, '{:+.1f}%')
-
- else:
- ax4 = plt.subplot(2, 3, 4)
- ax4.text(0.5, 0.5, 'Нет данных памяти',
- ha='center', va='center', transform=ax4.transAxes, fontsize=12)
- ax4.set_title('Память по категориям', fontsize=12, fontweight='bold')
-
- # 5. График GC метрик
- if gc_data:
- ax5 = plt.subplot(2, 3, 5)
-
- # Берем первые 4 метрики GC
+ changes_vals = list(avg_changes.values())
+ colors = ['#27AE60' if c > 0 else '#E74C3C' for c in changes_vals]
+ bars = ax.bar(cat_names, changes_vals, color=colors, alpha=0.7)
+ ax.set_title('Изменение памяти по категориям', fontsize=12, fontweight='bold')
+ ax.set_ylabel('Среднее изменение (%)')
+ ax.set_xticklabels(cat_names, rotation=45, ha='right')
+ ax.axhline(y=0, color='black', linestyle='-', alpha=0.3)
+ ax.grid(True, alpha=0.3)
+ add_value_labels(ax, bars, changes_vals, '{:+.1f}%')
+
+ if has_gc:
+ ax = plt.subplot(nrows, ncols, plot_idx)
+ plot_idx += 1
display_gc = gc_data[:4]
-
metric_labels = [f"{item['short_metric']}\n({item['benchmark']})" for item in display_gc]
old_values = [item['old'] for item in display_gc]
new_values = [item['new'] for item in display_gc]
- units = [item['unit'] for item in display_gc]
-
x = np.arange(len(metric_labels))
width = 0.35
+ bars1 = ax.bar(x - width / 2, old_values, width, label='Старая', alpha=0.7, color='#4A90D9')
+ bars2 = ax.bar(x + width / 2, new_values, width, label='Новая', alpha=0.7, color='#E8A838')
+ ax.set_title('Метрики GC', fontsize=12, fontweight='bold')
+ ax.set_ylabel('Значение')
+ ax.set_xticks(x)
+ ax.set_xticklabels(metric_labels, rotation=45, ha='right')
+ ax.legend()
+ ax.grid(True, alpha=0.3)
+ add_comparison_labels(ax, bars1, bars2, old_values, new_values)
+
+ if has_allocation:
+ ax = plt.subplot(nrows, ncols, plot_idx)
+ plot_idx += 1
+ display_alloc = allocation_data[:4]
+ metric_labels = [f"{item['short_metric']}\n({item['benchmark']})" for item in display_alloc]
+ old_values = [item['old'] for item in display_alloc]
+ new_values = [item['new'] for item in display_alloc]
+ x = np.arange(len(metric_labels))
+ width = 0.35
+ bars1 = ax.bar(x - width / 2, old_values, width, label='Старая', alpha=0.7, color='#4A90D9')
+ bars2 = ax.bar(x + width / 2, new_values, width, label='Новая', alpha=0.7, color='#E8A838')
+ ax.set_title('Allocation Rate (MB/sec)', fontsize=12, fontweight='bold')
+ ax.set_ylabel('MB/sec')
+ ax.set_xticks(x)
+ ax.set_xticklabels(metric_labels, rotation=45, ha='right')
+ ax.legend()
+ ax.grid(True, alpha=0.3)
+ add_comparison_labels(ax, bars1, bars2, old_values, new_values)
+
+ # Сводная статистика
+ if plot_idx <= nrows * ncols:
+ ax = plt.subplot(nrows, ncols, plot_idx)
+ plot_idx += 1
+ else:
+ ax = None
- bars1 = ax5.bar(x - width/2, old_values, width, label='Старая', alpha=0.7, color='blue')
- bars2 = ax5.bar(x + width/2, new_values, width, label='Новая', alpha=0.7, color='orange')
- ax5.set_title('Метрики сборщика мусора', fontsize=12, fontweight='bold')
- ax5.set_ylabel(f'Значение ({units[0] if units else ""})')
- ax5.set_xticks(x)
- ax5.set_xticklabels(metric_labels, rotation=45, ha='right')
- ax5.legend()
- ax5.grid(True, alpha=0.3)
-
- # Добавляем значения
- add_comparison_labels(ax5, bars1, bars2, old_values, new_values, '{:.1f}')
+ if ax:
+ ax.axis('off')
+ stats_text = "📊 СВОДНАЯ СТАТИСТИКА\n\n"
+ stats_text += f"Всего бенчмарков: {len(performance_data)}\n\n"
- else:
- ax5 = plt.subplot(2, 3, 5)
- ax5.text(0.5, 0.5, 'Нет данных GC',
- ha='center', va='center', transform=ax5.transAxes, fontsize=12)
- ax5.set_title('Метрики GC', fontsize=12, fontweight='bold')
+ if performance_data:
+ perf_improvements = sum(1 for p in performance_data if p['change'] > 5)
+ perf_regressions = sum(1 for p in performance_data if p['change'] < -5)
+ avg_perf_change = sum(p['change'] for p in performance_data) / len(performance_data)
+ stats_text += "Производительность:\n"
+ stats_text += f"• Улучшений: {perf_improvements}\n"
+ stats_text += f"• Ухудшений: {perf_regressions}\n"
+ stats_text += f"• Среднее: {avg_perf_change:+.1f}%\n\n"
+
+ if memory_data:
+ mem_improvements = sum(1 for m in memory_data if m['change'] > 5)
+ mem_regressions = sum(1 for m in memory_data if m['change'] < -5)
+ avg_mem_change = sum(m['change'] for m in memory_data) / len(memory_data)
+ stats_text += "Память:\n"
+ stats_text += f"• Улучшений: {mem_improvements}\n"
+ stats_text += f"• Ухудшений: {mem_regressions}\n"
+ stats_text += f"• Среднее: {avg_mem_change:+.1f}%\n\n"
+
+ if gc_data:
+ gc_improvements = sum(1 for g in gc_data if g['change'] > 0)
+ gc_regressions = sum(1 for g in gc_data if g['change'] < 0)
+ avg_gc_change = sum(g['change'] for g in gc_data) / len(gc_data)
+ stats_text += "Сборка мусора:\n"
+ stats_text += f"• Улучшений: {gc_improvements}\n"
+ stats_text += f"• Ухудшений: {gc_regressions}\n"
+ stats_text += f"• Среднее: {avg_gc_change:+.1f}%"
+
+ if allocation_data:
+ alloc_improvements = sum(1 for a in allocation_data if a['change'] > 0)
+ alloc_regressions = sum(1 for a in allocation_data if a['change'] < 0)
+ avg_alloc_change = sum(a['change'] for a in allocation_data) / len(allocation_data)
+ stats_text += "\n\nAllocation Rate:\n"
+ stats_text += f"• Улучшений: {alloc_improvements}\n"
+ stats_text += f"• Ухудшений: {alloc_regressions}\n"
+ stats_text += f"• Среднее: {avg_alloc_change:+.1f}%"
+
+ ax.text(0.1, 0.9, stats_text, transform=ax.transAxes, fontsize=10,
+ verticalalignment='top', linespacing=1.5, fontweight='bold')
- # 6. Сводная статистика
- ax6 = plt.subplot(2, 3, 6)
- ax6.axis('off') # Отключаем оси
+ plt.tight_layout()
+ png_path = os.path.join(output_dir, 'comprehensive-analysis-with-values.png')
+ plt.savefig(png_path, dpi=150, bbox_inches='tight')
+ plt.close()
+ print(f"✅ График сохранён: {png_path}")
+ return png_path
+
+
+def generate_html_report(performance_data, memory_data, gc_data, allocation_data, output_dir, png_path):
+ rows = []
+ for p in performance_data:
+ cls = 'positive' if p['change'] > 0 else ('negative' if p['change'] < 0 else 'neutral')
+ rows.append(f"""
+ | {p['name']} |
+ {p['old']:.3f} ms |
+ {p['new']:.3f} ms |
+ {p['change']:+.2f}% |
+
""")
+
+ mem_rows = ""
+ for m in memory_data:
+ cls = 'positive' if m['change'] > 0 else ('negative' if m['change'] < 0 else 'neutral')
+ mem_rows += f"""
+ | {m['benchmark']} |
+ {m['metric']} |
+ {m['old']:.2f} {m['unit']} |
+ {m['new']:.2f} {m['unit']} |
+ {m['change']:+.2f}% |
+
"""
+
+ gc_rows = ""
+ for g in gc_data:
+ cls = 'positive' if g['change'] > 0 else ('negative' if g['change'] < 0 else 'neutral')
+ gc_rows += f"""
+ | {g['benchmark']} |
+ {g['metric']} |
+ {g['old']:.2f} {g['unit']} |
+ {g['new']:.2f} {g['unit']} |
+ {g['change']:+.2f}% |
+
"""
+
+ alloc_rows = ""
+ for a in allocation_data:
+ cls = 'positive' if a['change'] > 0 else ('negative' if a['change'] < 0 else 'neutral')
+ alloc_rows += f"""
+ | {a['benchmark']} |
+ {a['metric']} |
+ {a['old']:.2f} {a['unit']} |
+ {a['new']:.2f} {a['unit']} |
+ {a['change']:+.2f}% |
+
"""
+
+ png_rel = os.path.relpath(png_path, output_dir)
+
+ perf_avg = sum(p['change'] for p in performance_data) / len(performance_data) if performance_data else 0
+ mem_avg = sum(m['change'] for m in memory_data) / len(memory_data) if memory_data else 0
+ gc_avg = sum(g['change'] for g in gc_data) / len(gc_data) if gc_data else 0
+ alloc_avg = sum(a['change'] for a in allocation_data) / len(allocation_data) if allocation_data else 0
+
+ html = f"""
+
+
+
+
+Benchmark Comparison Report
+
+
+
+
+
📊 Benchmark Comparison Report
+
+
+
+
🚀 Производительность
+
{perf_avg:+.1f}%
+
Среднее изменение
+
+
+
🧠 Память
+
{mem_avg:+.1f}%
+
Среднее изменение
+
+
+
🗑️ GC
+
{gc_avg:+.1f}%
+
Среднее изменение
+
+
+
📦 Allocation
+
{alloc_avg:+.1f}%
+
Среднее изменение
+
+
+
+
+
График сравнения
+
+
+
+
+
🚀 Производительность
+
+ | Бенчмарк | Старая версия | Новая версия | Изменение |
|---|
+ {"".join(rows)}
+
+
+"""
- # Собираем статистику
- stats_text = "📊 СВОДНАЯ СТАТИСТИКА\n\n"
- stats_text += f"Всего бенчмарков: {len(performance_data)}\n\n"
+ if memory_data:
+ html += f"""
+
🧠 Память
+
+ | Бенчмарк | Метрика | Старая версия | Новая версия | Изменение |
|---|
+ {mem_rows}
+
+
"""
- if performance_data:
- perf_improvements = sum(1 for p in performance_data if p['change'] > 5)
- perf_regressions = sum(1 for p in performance_data if p['change'] < -5)
- avg_perf_change = sum(p['change'] for p in performance_data) / len(performance_data)
- stats_text += f"Производительность:\n"
- stats_text += f"• Улучшений: {perf_improvements}\n"
- stats_text += f"• Ухудшений: {perf_regressions}\n"
- stats_text += f"• Среднее: {avg_perf_change:+.1f}%\n\n"
+ if gc_data:
+ html += f"""
+
🗑️ Сборка мусора
+
+ | Бенчмарк | Метрика | Старая версия | Новая версия | Изменение |
|---|
+ {gc_rows}
+
+
"""
+
+ if allocation_data:
+ html += f"""
+
📦 Allocation Rate
+
+ | Бенчмарк | Метрика | Старая версия | Новая версия | Изменение |
|---|
+ {alloc_rows}
+
+
"""
+
+ html += "