書籍「実践Pythonによるベイズ分析とトピックモデル」の実践開始です！ ４章の形態素解析＋TFIDFで寄り道しました。 英和辞典の「morning」の説明文章について、scikit-learnでTFIDFを算出しました。 単語「的」を評価しないようにする工夫が必要かもです。 #のんびり統計 #自然言語処理 #python pic.twitter.com/HwbjjP2kKx

お情ソロ曲歌詞形態素解析、集計終了しました！👏 曲数31曲(創生:14曲/Awake:2曲/Memories:1曲/色彩:13曲/ほしをみるひと)で、のべ7228語を集計しました！ 細かいミスは見つけ次第修正していきますが、ひとまず歌詞単語クイズとか作って遊びたい。 あとなにか調べて欲しいことがあればお気軽に！ pic.twitter.com/6y4JBkCaGu

1969年出版の本に書かれてた機械翻訳の例 当時ここまでの精度で翻訳できたのは驚きだけと付録の形態素解析表で涙ぐましい努力を感じた gptのトークナイザーはまた別のものだとか pic.twitter.com/7q681wXJ0H

形態素解析辞書との突合はトークン化効率を下げる方向に作用するため、語彙学習の最終フェーズでは形態素解析辞書になかったUnigram獲得語彙のうち違和感の少ないものをルールで選別して追加する補正を行なっています。「VIPがお送りします」を排除するにはこのぐらい頑張る必要があります。 pic.twitter.com/Doo86pcWWP

(´・ω・｀)GPT使って超賢いIME作れたりしないかなと思ったけど漢字の読みに弱いの忘れてたｗ でも形態素解析したり辞書引いたりさせるよりシンプルで軽くてローカルのメモリや処理能力が必要ないものが作れそうな雰囲気はある 実施(じっそう)みたいに正しい漢字が候補に出ない可能性があるのが問題よね pic.twitter.com/0iuq3gouIH

日本語テキストを文節の単位に分かち書きするpythonライブラリを作りました。 pypi.org/project/jphras… 形態素解析の結果そのままだと粒度が細かすぎるという場合にお使いください。 pic.twitter.com/onypFK0arM

最近やってる暇つぶし、歌詞の形態素解析。 そのうちクイズにでもして遊びたい。 ｢この単語が含まれるお情の曲は？｣みたいな。 楽しそうじゃない！？ pic.twitter.com/3UGGWZkJZV

小説形態素解析っていうのをやってみた。何本か入れてみて誤差はあるけど大体こんな感じ。 指示語と体言止めの多用はすっごい心当たりある😂 pic.twitter.com/dcNEnPy7T6

実はクライアント側でも形態素解析(MeCab)できる。 pic.twitter.com/e4qrjLUcwS

「のにいると」と漢直(T-Code改)の融合。 まだBSによる削除がうまくいかない。 かなと漢字の組み合わせに対してmecabによる形態素解析でスコアを出して最良のものを出力しているが、期待通りにならないことも多い。(「へしてる」は「見てる」になって欲しかった) 自然言語処理ニキの助言を求む。 pic.twitter.com/QHLP9p41a3

きしもんがインスタライブで話してた「岸本ゆめの」ではなくて「岸本ゆめ」でトレンドに上がる問題が発生してるね。 ひらがなの名前は形態素解析に弱いね。アカウント名とかハッシュタグで投稿数が多いものを固有名詞として辞書登録してくれたら解決しそうな気はする。 pic.twitter.com/UncxjA8tAK

おはようございます🌥️ 形態素解析に使う”Neologd”という辞書は賢くて、「鬼滅の刃」や「スターバックス」を1つの単語として認識してくれます ただ、なぜか「SCOPE3」という単語は、「SC」「OP」「E3」でわけてしまう😭 （標準辞書だとSCOPEと3に分けてくれるのだが） pic.twitter.com/t9RbYAmKxp

同僚から教えてもらった『文体診断ロゴーン』というサービスが面白かったです。 文章を入力すると、形態素解析をもとに「自分が誰に似た文体なのか」を教えてくれるらしい。阿川弘之に似てるってほんとうかよ。 信頼できるかは微妙ですが、遊び半分にどうぞ🦀 pic.twitter.com/hN90Sb3su8

検索数ビッグデータで「フクシマ」と「福島」への興味の違いを調べてみた。結論／フクシマは福島の単なる綴り違いではない。 実態と異なる象徴化や揶揄と一体だ。 （さらにフクシマが用いられた文章における形態素解析もやってみる？） pic.twitter.com/W5yhRvNYXn