【2戦目】めざましじゃんけん結果速報： チョキ✌でした。グー✊が勝ちです。 今回の相手：堀米悠斗 選手 By miki-ie.com/mezamashi-jyan… #めざましじゃんけん #めざましテレビ #人工知能 #めざましどようび #堀米悠斗 #深層学習 #OpenCV #RNN #Darknet #DNN #みきいえ #Synology

はてなブログに投稿しました 【深層学習】スタイル変換 / Style Transfer #まとめ編 #01 - オムライスの備忘録 yhayato1320.hatenablog.com/entry/2023/01/… #はてなブログ #深層学習 #DeepLearning

【4戦目】めざましじゃんけん結果速報： グー✊でした。パー✋が勝ちです。 今回の相手：かまいたち のお二人 By miki-ie.com/mezamashi-jyan… #めざましじゃんけん #めざましテレビ #人工知能 #かまいたち #のお二人 #TensorFlow #機械学習 #深層学習 #Raspi #RNN #DNN #みきいえ

【3戦目】めざましじゃんけん結果速報： チョキ✌でした。グー✊が勝ちです。 今回の相手：生じゃんけん⭐️鈴木唯 アナウンサー By miki-ie.com/mezamashi-jyan… #めざましじゃんけん #めざましテレビ #人工知能 #鈴木唯 #深層学習 #LSTM #ニューラルネットワーク #Keras #PHP

【1戦目】めざましじゃんけん結果速報： グー✊でした。パー✋が勝ちです。 今回の相手：稲垣祥 選手 By miki-ie.com/mezamashi-jyan… #めざましじゃんけん #めざましテレビ #人工知能 #稲垣祥 #RNN #機械学習 #OpenCV #みきいえ #Keras #CNN #IoT #Darknet #深層学習 #Python

はてなブログに投稿しました 【深層学習】MobileNet V1 - オムライスの備忘録 yhayato1320.hatenablog.com/entry/2021/06/… #はてなブログ #深層学習

【1戦目】めざましじゃんけん結果速報： グー✊でした。パー✋が勝ちです。 今回の相手：北村一輝 さん By miki-ie.com/mezamashi-jyan… #めざましじゃんけん #めざましテレビ #人工知能 #北村一輝 #CNN #深層学習 #GoogleHome #Keras #Raspberry #Raspi #AI #YOLO #PHP #LSTM

2日連続で動画を作ったヨ！ youtu.be/yH8sSN17cQo 機械学習と深層学習について動画で解説してるよ🐨 #株式会社GeNEE #機械学習 #深層学習 #コンサル #システム開発会社 #アプリ開発会社 #Yotube #ジーンちゃんch

【技業LOG】 ＼新着記事の紹介／ 【若手社員による技業挑戦LOG】深層学習でおいしいコーヒーを飲む ▼詳細はこちら▼ hubs.ly/Q02W4R-Q0 #深層学習 #おいしいコーヒー #トレーナー施策 #若手社員育成施策

『TensorFlow開発入門 Kerasによる深層学習モデル構築手法』 　翔泳社　 太田 満久 (著), 須藤 広大 (著), 黒澤 匠雅 (著), 小田 大輔 (著) TensorFlow1.5対応のため、今やるとかなりの訂正が必要だが、ChatGPTを使い、修正しながらなんとかp60まで進んでいる。 #TensorFlow #Keras #深層学習 pic.x.com/O2v5fjduYP

『PyTorchで作る！深層学習モデル・AI アプリ開発入門』 翔泳社　 我妻 幸長 (著) 深層学習について更に前に進むため購入。 p51まで進んでいる。 はやくアプリを開発したい。 #深層学習 #ディープラーニング #PyTorch pic.x.com/oKOL6qaPfk

【2戦目】めざましじゃんけん結果速報： グー✊でした。パー✋が勝ちです。 今回の相手：宇梶剛士 さん By miki-ie.com/mezamashi-jyan… #めざましじゃんけん #めざましテレビ #人工知能 #宇梶剛士 #Keras #PHP #深層学習 #mikiie #みきいえ #じゃんけん #Raspi #Darknet #LSTM

【2戦目】めざましじゃんけん結果速報： パー✋でした。チョキ✌が勝ちです。 今回の相手：北乃きい さん By miki-ie.com/mezamashi-jyan… #めざましじゃんけん #めざましテレビ #人工知能 #北乃きい #TensorFlow #RNN #ニューラルネットワーク #Raspi #みきいえ #深層学習 #YOLO

伝統的なパーセプトロンでは、出力部分に閾値関数があり、ある閾値を越えたら 1、超えなければ 0 としてありました。しかし、その関数を通す前の「生の値」が、確率と高い相関関係が有りますので、それを使います。 #生成AI #AI #プログラミング #深層学習

さて、省略しましたが、どうやって、文書の最初に出てくる単語の「確率」を出すのか疑問を持たれた方、それは、「閾値関数」を介す前の「入力値」をアナログ値として確率のヒントにするということです。 #生成AI #AI #プログラミング #深層学習

そのときの A は、「節」全体を A とするのではなく、一部を抜粋する必要が有ると思いますが。 f(A,Q1)=A1 f(A,Q2)=A2 ・・・ のようなシナプス結合 f を学習するのです。 #生成AI #AI #プログラミング #深層学習

そうすると何がよいことが有るかというと、本やブログの「小節」の中の文書を A とすると、その A に対する質問 Q の集合が出てくるので、今度は、Q に対して、A を出してくるような関数 f を学習できるようになります。 #生成AI #AI #プログラミング #深層学習

このようにすることで、「答えA」に対して、考えられうる質問Qの候補群を出せるようなニューラル的関数 g が出来上がります。次に、Aとして、答えではなく「本」やブログの「主張」にしても、Qの候補群が出てくる可能性が高いです。 #生成AI #AI #プログラミング #深層学習

次にやることは、最初の単語のid番号を整数Xとして、g2(A,X)のように、ニューラルネットの入力の一部にしてしまいます。そうして、文書における、左から二番目の単語を取得できるようにします。それも各単語の出現確率を出るようにします。 #生成AI #AI #プログラミング #深層学習

g(A)では、単語の列を出力するとしても、一番最初の単語は、(日本語辞書に有るような１万語ほどの)各単語に対して、「最初の単語になる確率」を数値として出すようにします。これは可能です。 #生成AI #AI #プログラミング #深層学習

但し、ここで重要なのは、「Q」は非常に「多様」だということです。つまり、形式が非常に沢山あって、質問の仕方は多種多様だということです。なので、g(A)=Qは、1つではなく、複数の候補を出すようにする必要があります。 #生成AI #AI #プログラミング #深層学習

QとAの組に対して、普通ならf(Q)=Aを考えてしまいますが、ここでは逆に、g(A)=Qのような、逆関数の様な g のシナプス結合を作ることを考えるのです。そうすれば、どんな主張に対しても、「Q」を作れるようになりそうです。 #生成AI #AI #プログラミング #深層学習

本やWebには主張が多くて、Q&Aは少ないため、特にQの部分の学習材料が不足します。それに対してどうするかというと、主張からQを逆算する方法を思いつきました。まず、Quoraやテレビインタビューなどは、Q&Aになっています。 #生成AI #AI #プログラミング #深層学習

でも 「英語で地球は earth と言います.」 という文章が一度も学習できて無いならば、無理ですよね。例えば、人間ならば辞書や単語帳で調べて覚えています。一般的には、このような知識は、必ずしも文章を見て学習したわけでは有りません。 #生成AI #AI #プログラミング #深層学習

大量の文書の中に 「英語で地球は earth と言います.」 というものがたまたま含まれていれば、事前に f("英語")="で" f("英語で")="地球" f("英語で地球")="は" f("英語で地球は")="earth" を全て学習しておけば、当初の質問にも答えられることになりそうです. #生成AI #AI #プログラミング #深層学習

じゃあ、本やWebPageで、1000単語の文章があった時、例えば、Xを、先頭の単語から1単語、2単語、・・・と増やして、n単語の「部分文書」として、Yを「次に来る単語」として、f(X)=Y を満たすシナプス結合 f を学習すれば良いんでしょうかね。 #生成AI #AI #プログラミング #深層学習

Q:英語で地球とはなんと言いますか？ A:英語で地球は earth です。 という風にしたい場合、Xとして、 「英語で地球は」とすれば f("英語で地球は")="earthです" と出来るのかもしれませんね？ #生成AI #AI #プログラミング #深層学習

余り勉強してませんが、LLMって、 X=前の文章 Y=後ろの文章(ではなく1つの単語?) みたいにして、 f(X)=Y を出すようなシナプス結合 f を作るんですかね。 そこまではいいとして、これだけではQ&Aに対応できませんよね。 #生成AI #AI #プログラミング #深層学習

するとどうなるかというと、f は、「本質的な論理」だけが学習されることになり、知識Xと質問Qをごっそり変えても、同じ論理頭脳 f は、そのまま利用できる可能性が出てきます。 #生成AI #AI #プログラミング #深層学習

f(Q)=A となるようなシナプス結合 f を学習してしまった場合、知識に当たるものは、f の中に全て入ってしまいます。 だから、後から知識を変えることができません。しかし f(X,Q)=A のような f を学習して得た場合、XとAを結ぶような神経線維が勝手に出来ます #生成AI #AI #プログラミング #深層学習

そして、学習する際には、 f(X1,Q)=A f(X2,Q)=A f(X3,Q)=A f(X4,Q)=A を満たすようなシナプス結合 f を作ります。 X1～X4は結合の中に含まれてないことがミソです。 それにより、fを修正しなくても、Xの部分を後から全然別の文書を変えても応用されます。 #生成AI #AI #プログラミング #深層学習

さらに、Xとしては、1種類ではなく、考えられる色々な形式を作る手も有効かもしれません。 X1:自民党の政策は、R です。 X2:自民党の政策と言えば、R です。 X3:Rが自民党の政策です。 X4:Rという政策をやっている党の一つは自民党です。 のように。 #生成AI #AI #プログラミング #深層学習

Q:自民党の政策は何ですか？ A:自民党の政策はRです。 というQ&Aがあったら、 X:自民党の政策と言えば、Rです。 みたいな「本形式文書」Xを作ります。 #生成AI #AI #プログラミング #深層学習

Quoraや雑誌やテレビなどのインタビューはQ&A形式です。QとAは有りますが、Xにあたるものはありません。そこで、QとAから、Xを作ってしまいます。そうしておいて、f(X,Q)=Aのシナプス結合 f を学習します。そうしておいて、Xを一般の文書に変えればいいです。 #生成AI #AI #プログラミング #深層学習

入力の一部にする、といったのはこういうことです: 質問Qだけをニューラルネットの入力にして f(Q)=Aのfを学習するの「ではなく」、本形式の文書Xをニューラルネットの入力にしてまい、 f(X,Q)=A と学習します。するとXを後から変えられます。 #生成AI #AI #プログラミング #深層学習

さてでは本などをQ&A形式のChatの学習に利用するにはどうすればいいでしょうか。それは、 1. 本をQ&A形式に変えて学習する。 2. Q&A形式を本形式に変えて入力の一部にしてしまい学習した後、入力を本物の本に置き換えてしまえば、本に対してもQ&Aできるかも。 #生成AI #AI #プログラミング #深層学習

本やほとんどのWebPageは質問形式ではなく主張を述べる形式になってますから、ChatGPTのようにQ&A形式にするためには工夫が必要です。QuoraやインタビューなどはQ&A形式ですから、そのまま学習できるかもしれません。 #生成AI #AI #プログラミング #深層学習

これはさらにYesNo疑問文にも拡張できる。 どうするかというと、「XはZですか?」という質問が来たら、「Xは何ですか?」という質問に変えてニューラルネットに入力する。出力には「XはYです」と出てくる。 そこで、ZとYが同じかどうかを判定するAIを使えば良い。 #生成AI #AI #プログラミング #深層学習

本には「Aと仮定すると、XはYです。理由はZだからです。」と書いてある。ニューラルネットの学習では、 入力層:「Aの場合に、Xは何ですか？」 出力層:「XはYです。」 として学習させる。 #生成AI #AI #プログラミング #深層学習

本の中は、こうなっている: 「Aと仮定すると、XはYです。理由はZです。」 学習時の入力層は、 「Aの場合に、Xは何ですか？」 出力は、 「XはYです。」 として、学習する。 #生成AI #AI #プログラミング #深層学習