三原色強い宝くじ仮説

ニューラルネットワークの圧縮では重みを削除する「枝刈り」や量子化が一般的ですが、強い宝くじ仮説（SLTH）は、訓練前のランダムな初期化から「当たりくじ」を探し出すという発想で注目を集めました。重みそのものではなく、どの接続を使うかを示すマスク（スーパーマスク）を学習することで、推論時には「乱数シード＋マスク」だけで高精度ネットを再現できます。私たちの研究「三原色強い宝くじ仮説（T-SLTH）」はこのSLTHを一般化した新しい理論です。重みの接続（C）・符号（S）・スケーリング（M）の3要素を分離し、それぞれを最適化する「三原色スーパーマスク」を提案しました。これにより、従来の疎な構造だけでなく、密結合やランダム（任意）接続にも対応できる初のSLTH系手法を実現しました。

• 任意接続対応：既存のSLTHでは扱えなかった密結合ネットや非規則な構造にも対応。
• 汎用性：デジタルASICからアナログ光デバイスまで、異なるハードウェア基盤への応用可能性。
• 統一的理論枠組み：従来のスーパーマスクをすべて三原色マスクの組合せとして再解釈。
• 圧縮性能：ResNet-50でCIFAR-100の精度78.43%を維持しつつ38倍圧縮（2.51MB）、ImageNetでも75.28%精度を4.1MBで達成。
• 新しい視点：「接続性こそ本質」という従来の仮説を再検討し、量子化訓練(QAT)やハードウェア圧縮と理論的に接続。

• CIFAR-100：ResNet-50で78.43%精度、38×圧縮（2.51MB）
• ImageNet：75.28%精度、25×圧縮（4.1MB）
• ランダム接続対応の検証：従来の疎構造だけでなく、密結合や部分的ランダム構造を持つモデルでも安定した精度を確認。
• 統一的表現能力：C・S・Mマスクの組合せにより、異なるマスク系列を同一理論で再現可能。

T-SLTHは、枝刈り·量子化·ランダム性の3軸を統合する理論基盤です。今後は、異種ハードウェア（光学・アナログ・量子）への適用や、構造的事前知識を持つ新しい圧縮学習への展開を目指します。将来的には、モデル構造自体がハードウェア特性と共進化する「アルゴリズム-ハードウェア共設計」へとつなげていきます。

1. Á. López García-Arias, Y. Okoshi, H. Otsuka, D. Chijiwa, Y. Fujiwara, S. Takeuchi, M. Motomura, “The Trichromatic Strong Lottery Ticket Hypothesis: Neural Compression With Three Primary Supermasks,“ Workshop on Machine Learning and Compression, NeurIPS, 2024. (Spotlight).
   https://openreview.net/pdf?id=CfI2KfPb4C

ロペス　アンヘル (Ángel López García-Arias)
コミュニケーション科学基礎研究所 メディア情報研究部 メディア認識研究グループ