feat: 推論エンジンを nsfwjs + tfjs-node から ONNX Runtime に移行

[jj1guj]

What

推論エンジンを nsfwjs + tfjs-node から ONNX Runtime に移行

• モデルファイルがJSON + shardsからONNXファイル単独に変更
• 推論時のスレッド数を環境変数で指定できるように
  • 環境変数SENSITIVE_DETECTOR_THREADSで指定可能
  • 専用マシンでは SENSITIVE_DETECTOR_THREADS=0 とすることで全コアを使用可能

Why

• 現状のnsfwjs + tfjs-nodeではARM64環境のDockerコンテナ内で動作しない
  • Raspberry Pi 5B上でビルドしたDockerコンテナでモデルのロードに失敗することを確認済み
• nsfwjs + tfjs-nodeではイメージサイズが肥大化する
• nsfwjs + tfjs-nodeと比較しONNX Runtimeの方が推論速度が速い

Additional info (optional)

ベンチマーク

環境

• Intel N95 (4C/4T, 8GB RAM)
• Docker
• 入力画像: 299×299 PNG
  • KaggleのNSFW detection data setを使用
  • testデータから先頭100枚を抽出
• リクエストは1枚ずつ逐次送信（並行リクエストなし）
• スレッド数
  • TF.js: シングルスレッド（libtensorflow の既定動作）
  • ONNX: SENSITIVE_DETECTOR_THREADS=1（1スレッド推論）

イメージサイズ比較

	TF.js	ONNX	差分
イメージサイズ	957 MB	845 MB	-12%

精度比較

• Top-class 一致率: 100.00%
• 確率差 max: 0.000002
• 確率差 p99: 0.000001

レイテンシ比較 (ms)

	TF.js	ONNX	差分
min	223	238	+15
p50	312	244	-68
p95	340	296	-45
p99	366	297	-69
max	378	298	-79
mean	308	250	-58

リソース使用量

	TF.js	ONNX	差分
CPU mean	111.4%	45.7%	-59%
CPU max	130.2%	54.9%	-58%
Memory mean	360 MB	241 MB	-33%
Memory max	369 MB	241 MB	-35%

• デフォルト (SENSITIVE_DETECTOR_THREADS=1) で TF.js より高速かつ CPU 使用率は半分以下に
• Misskey 本体と同居する構成でリソース競合を大幅に緩和

[samunohito]

prありがとうございます。
確認させていただいたところ、気になる点がありましたのでコメントします。

[samunohito]

ありがとうございます。よさそうです。