有能な有志さんも言ってたけど、 NovelAIも、niji journeyも、最後には既存IP（キャラクターとかアニメ）隠しきれなくなった最新バージョンとかリリースした。 ネットから自動でスクレイピングするなら最終的にそうなるんじゃないの。画像生成AIはそういう仕組みだからね。何がオリジナリティですか～

「スクレイピングが問題ない」みたいな議論を聞いてPFNの担当者が60万枚スクレイピングして自動着色を開発したの思い出したな.... 問題ないなら別にリポストしてもいいや qiita.com/taizan/items/c…

今日も引き続き、キュレーションサイトをいっぱい作ろー。Oauth2形式のPOSTと、Crawlee(スクレイピング)の追加実装も。 地味に英語４hくらいは、やるか〜🗣️

みんなスクレイピングやってるのね😁

ぼくもPython書くことあるけど、SeleniumとかBeautifulSoup4とかでスクレイピングしたりブラウザ操作したりする程度だから業務で使えるレベルではないんだよな

暇だしプログラム書くかーと思ってやったけど、対象サイトがスクレイピング対策していてだめやった

アップされてたISOGEの開発？スクショ画像を見る限り、SUUMOの納戸表記がそのままDBにも書かれてる感じがしたので、ページをスクレイピングしてるのかな？調べたらQiitaにコードもあった！以前スクレイピングの話はTwitterでもしたことがあって、その時の記憶でSUUMOってAPIなかった気がする。

過去にAI絵師による生成AIの為のスクレイピング＆大量生成が起きた時はPixiv非公開祭りなんて呼ばれる事態になったし、今も生成AIへの無断利用やPixivの杜撰な対応を嫌って非公開にする人はちょくちょく出てるんだよな…。>RT 悲しいことだ。

会社員時代もGW中に色々仕込んでた。 これでGW明け、会社のみんな驚くだろうなぁ みたいな。 この時期にVBAスキルやスクレイピングどんどんマスターしていったよ。 そして毎回Aランクの評価。 昇給・昇格していった。 それが積み上がって独立につながった。

スクレイピング処理を共有するというのがユニークです Apify - スクレイピングプラットフォーム - MOONGIFT.dev buff.ly/3QqVOcQ #MOONGIFT pic.twitter.com/u66zEX6C7e

と思ったけど、そんなん公開しちゃったらみんな叩きに来てDBサーバの負荷大変そうだし、かと言って配布形式にして毎試合終了後とかにアップデートするのも大変だし、Webで公開してスクレイピングしに来られたらWebサーバも負荷かかるし、公開する側にはあんまメリットなさそうだな〜🫤

【Python】KDPのレポートをスクレイピングしてLINE通知する truewalk.net/?p=1174

生成AIとスクレイピングの組み合わせが強い( ˙꒳​˙ ) ここに、こうなっとるじゃろ？ここのデータを各ページ欲しいねん、って聞いたらすぐbeautifulsoupでのコードを示してくれる、昔の自分のコードとかいらんかったんや……

【プログラミング素人のはてなブログ】C#でウェブスクレイピング s51517765.hatenadiary.jp/entry/2017/05/…

photshopの生成AI導入に基づいて、利用者の製作物が生成AIの学習データとして自動でスクレイピング、サーバへアップロードされる可能性があるから、NDAとかの関係で2023バージョンへダウングレードか海賊版でPS割ろうぜってなってる感じやな。

ChatGPTでスクレイピングするためのプラグインが便利すぎる #ChatGPT #ai 【悪用厳禁ChatGPTプラグイン】他社サイトをスクレイピングできる「Scraper」の導入方法から使い方 weel.co.jp/media/innovato…

某お金のサービス、APIがないのでブラウザからログインしてスクレイピングとかしようとすると新しい環境からのログインで通知がきてうざいので、やはりAPIがないのが悪いのでは…。

返信先:@samansa_exファンボから別の支援サイトに移住もした方がいいかもです！ ファンボってスクレイピング対策してないからまるまる 別のサイトに転載されるみたいなんで クロスフォリオにそういう支援システムあると良いですが

VBAでのスクレイピングがんばるます

NPBの各種成績とかのデータを拾う時、スクレイピングやらんと現実的でないのなんとかならんかなという気持ちです

ちなみに元データの2万件はスクレイピングとかでやって「規約が～～～」とか突っ込まれるの嫌だから全部手動でひっぱってきたよ。 多分1時間くらい虚無になってやってた。

Webスクレイピングとかいうもの面白いね

青バッジ買ってもまともに機能しない事が証明済みなので、無課金でブラウザ＆拡張機能とJSを駆使してスクレイピング作業を行う準備。まあ週1で200～300件程度なので、コレで十分かと。

返信先:@aqyuki21sTwitterってスクレイピングだめなんだっけ。

スクレイピング やり方

スクレイピングでは1秒に1回程度なら常識的という範囲なので、手動でも1秒に1回は常識的と考えられる。というより手動でページ開いてたら1秒以上かかるから大丈夫ね。

NPBの各種成績とかのデータを拾う時、スクレイピングやらんと現実的でないのなんとかならんかなという気持ちです

「webスクレイピング」であれば本来入ってない筈のデータが入ってる 中身が明かされていない他のデータセットでも起きているかもしれない問題だからこそ、海外の規制法で「透明性」の話が出ている これから活用していくなら尚更、海外の一般個人の方も納得させるためには無視して通れないのです

2022年9月の記事 webスクレイピングのデータセットはこの記事にあるLaion-5bだけではない 画像生成AIユーザーがAI学習用データセットから「自分の医療記録の写真」を発見してしまう - GIGAZINE gigazine.net/news/20220922-…

ミツアを見ていればわかるんですが、画像や素材を提供する人って案外多いんです。信用できる事業者にだけデータを渡したい、そこの開発したAIサービスなら信用してもいいと思う方はいると思います。スクレイピングやクローリングだけが学習素材を集める手法だと思いこんでしまうのは視野狭窄でしょう。

返信先:@wantan_tabetaiCADと生成AIではベクトルが違いますね。 前者は、使いこなすだけでも専門的訓練が要求されるので、安易に習得するのが困難。 対して後者は、WEBスクレイピングというドットインストールかUdemyで勉強すれば、ある程度習得できる環境で、世界中のデータを習得するので、敷居の高さが異なる。

スクレイピング・データ集計承ります！ ●スクレイピング・データ集計 ●データ収集後のアフターフォロー ●出力形式のカスタマイズ(CSVやGoogleスプレッドシート対応) coconala.com/services/30539…

返信先:@msugaya他1人各国では同意のない無断スクレイピングを違法とみなしており、学習データの透明な公開を準備中です。

返信先:@nannan18855744_キャンセル感知スクレイピングでもしたら

一応、学習対策をしたうえでネット上にアップする方法はあるし、それを施したうえでスクレイピングされたのならもちろんそれは侵害を訴える権利がある bunka.go.jp/seisaku/bunkas… 簡単に言えば、自分で管理できる土地を手に入れてそこに電気柵でも好きに対策しなさいってことだな…

返信先:@GR1145141919810他1人やってることは現行法で合法なデータスクレイピングの学習より悪質ですよ、それ... 同じレベルまで下がる必要は無いですし、児童ポルノは使用データセットの変更やオプトアウトにより現行バージョンでは含まれていないですよ。 知識を更新してください。

くら寿司のメニュー情報をスクレイピングしてみました！ 参考にした記事 satoriku.com/scraping/ pic.twitter.com/6WUJFq9GjQ

返信先:@kirinlight今どきスクレイピングとか低レベルな事やってたらそりゃ当然だろ。競合はあんたより10分以上も前に在庫復活アナウンスしてるぞ？ 新作ガンプラとかフィギュアにいたってはあんたより3日も前に情報出してる人もいるし、少しは自分の技量を見直した方が良いと思うよ？

というわけで、スクレイピング方法はおいておきながら、私の書いてる小説はこれです(｀･ω･´)ゞ kakuyomu.jp/works/16817330…

予測された自体に対して、問題が起こる前に対策を取ろうと奮闘していたのならともかく、他人が頑張って行動を起こした段階で、後出しジャンケンのごとく怒るのはやっぱ以上なんだよなぁ。 スクレイピングは非合法か？それとも、お前の知能が足りないだけか？ 今一度、我が身振り返り立ち返るべき