ポスト
アメリカのユーザー投稿型サイトRedditは、ウェブコンテンツのAIでの利用について合意に達しなかったGoogle以外の検索エンジンのクロールを、Robots.txtによって拒否している模様。Robots.txtの指示に従うお行儀の良いクローラは制御できても、それ以外のクロールはブロックできない。
メニューを開くアメリカのユーザー投稿型サイトRedditは、ウェブコンテンツのAIでの利用について合意に達しなかったGoogle以外の検索エンジンのクロールを、Robots.txtによって拒否している模様。Robots.txtの指示に従うお行儀の良いクローラは制御できても、それ以外のクロールはブロックできない。
メニューを開く
