特徴ベクトルをPCAとICAのペアにすることでマイナー単語の検索にも対応できるかも？　マイナーすぎる単語はあきらめて素直な文字列辞書を作成したほうが確実だろうけどね、どうしても分かち書きや固定文字列を使いたくないんだよな

zenn.dev/d2c_mtech_blog… LSH便利そう、なるほど 分かち書きを使わない単語抽出を検索してたらたどり着いた

そもそも「文書ではなくて単語で検索する」というのは日本語（や中国語など分かち書きしない言語）特有の事情で、検索エンジンがスペースで分かち書きする英語に最適化して設計されたからにすぎないのです 英語なら最初から普通に文章で検索できるわけで #TBSスタンバイ

これ中点もカナと同じ文字として処理してない?日本語は分かち書きしないと言われてますが、中点は意味合いとしては空白と同じでしょ。検索処理は言語の壁高い処理なんよね。

ワイはストリート育ちだからわかるんだが、多くの人は検索できないんよな。いい感じに分かち書きして検索エンジンに食わせることができない。そういう意味で自然言語で入力可能なchatgptは革命的ではある。ただgoogleも随分前から近いことはやってたけどな。

Spannerの全文検索周りで受けが良かった話として、Spannerはフルテキストトークナイザっていうよしなに分かち書きしてくれるものが内蔵されてるのだけど、どんなトークンになってるか確認できるDEBUG_TOKENLIST関数があって単体でも使えること。分かち書き結果を文字列で取り出せる。 #gcpug #gcpja pic.x.com/EcRGututfX

返信先:@spicy_cake777。ですねー 特に書き言葉と ユウチュウブにある話し言葉のみの韓国語講座などは難易度がちゃうので 物書きとして 日本語のややこしさ(言葉遣い)を暗号にして書き換えた様な言語が韓国語やと思っているので 書き言葉と分かち書きの本出して欲しいのです。 うち韓国のサイトで分かち書き検索してるので