ポスト
- Swallowコーパス:日本語大規模ウェブコーパス(東工大) (手法) - URL filtering - ルールベースのフィルタリング - LLM Rephrasing(低品質 -> 高品質LLM) ・ディベートデータを用いた事後学習 ・MoE - FFN内に複数のExpetが存在する - Expert同士の通信が頻繁に行われる
メニューを開くみんなのコメント
メニューを開く
- 先にDense(オリジナルのTransformer)を学習し、その重みを初期値としてMoEを学習させる方法もある - dMoE:ひとつのExpertを複数のGPUに分割する - Denseより高い学習率が適している youtube.com/watch?v=T1f4aq…
人気ポスト
レンズカバーつけてる皆さん。 注意してくださいね…数十万が一瞬でゴミになりますよ
昔のお米屋さんは昼間に各家庭に米を配達していたので、ペットの有無をどの業種よりも把握しており、1960年にペットフード・ビタワンが日本で発売された当初は米屋で販売していたという知見を今日得た。 いつも通る道に現存する看板なんですけどそんな歴史が...ζζ
え?子供の靴ですか? 保育園からは毎週持って帰りますが、たまにしか洗っていません。 (ペンネーム:ピンクのうさぎちゃん)
「妊娠すると、赤ん坊の細胞が母親の血流の中に移り、また赤ん坊の中に戻ってくる。…
初めてこの子怖いと思った もうトラウマ まじで
これホント好き
この柴田恭兵さんのちょっとした仕草とかカッコ良すぎる。絶対あぶない刑事見に行こ。
私が最近よく着ているワンピース、娘から「ママのはま寿司のワンピースかわいいね☺️」って言われる…
【危機一髪】F1下部のレースであわや大事故、19歳ドライバーがトンネル内で止まりかけているマシンをギリギリで避ける
トレンド21:38更新
- 1
エンタメ
with MUSIC
- GONG
- ここに帰ってきて
- withMUSIC
- シンデレラ
- 稲葉浩志
- 音楽番組
- MUSIC
- 2
アニメ・ゲーム
にじさんじスマブラ杯
- 3
バックステージフォト
- 4
ラプ様と愉快な仲間たち
- ラプラスダークネス
- 愉快な仲間たち
- 5
アニメ・ゲーム
士郎正宗
- 攻殻機動隊
- サイエンスSARU
- 映像研には手を出すな
- 世田谷文学館
- 2026年
- 攻殻機動隊(仮)
- テレビアニメ
- 制作決定
- 2025年
- SE
- 6
エンタメ
有働さん
- 大好きな兄貴分
- キンプリの2人
- 大好きな兄貴
- 兄貴分
- GOAT
- れんかい
- Number_i
- Number i
- 海ちゃん
- キンプリも
- 7
アニメ・ゲーム
スタンミ
- チンチロ
- k4sen
- ラプ様
- 医療費ルーレット
- スタンミじゃぱん
- ラプ
- 8
アニメ・ゲーム
蛇足さん
- シャイニングスター
- 大やけど
- 9
エンタメ
散りません
- 10
緊急出動