ポスト
従来から圧縮できる能力(クロスエントロピー損失と同義)と知能は関係するとみられていたが、多くの既存LLMの対象領域テキストの圧縮率と、後続タスクの平均性能を調べるとそれらは線形に強く相関することがわかった。また相関から大きく外れているモデルは他の検証もあわせ過学習していることがわか…
メニューを開く従来から圧縮できる能力(クロスエントロピー損失と同義)と知能は関係するとみられていたが、多くの既存LLMの対象領域テキストの圧縮率と、後続タスクの平均性能を調べるとそれらは線形に強く相関することがわかった。また相関から大きく外れているモデルは他の検証もあわせ過学習していることがわか…
メニューを開く