スクレイピングのコード、対象がボタン操作多めの動的なサイトだったので全部seleniumでコードしたんですが、やっぱり収集の遅さは否めないので適宜beautifulsoupに置き換えるべきかなぁなどと

たまにconky触りたくなる病になるんだが、今回はスクレイピングしたデータを表示するためにBeautifulsoupと格闘している。 #conky #Beautifulsoup

手持ちのスクレイピング術。PHPで正規表現、node.jsでpuppeteerでquerySelector、PythonでSeleniumでBeautifulSoup、そしてここにGASが追加される予定です。GASはスプレッドシートと組み合わせれるのでサーバも要らんし最強っぽいな。データベースに保存したい時はサーバですることになるか

reactでできているサイトとかのレンダリングを待つ仕組みとかもSeleniumなら入れれましたね。BeautifulSoupで要素全部取得できなくてどうしたと思ったらWebDriverWaitとか入れてやれば良いのね。とりあえずこれでpythonでスクレイピングできるよと言えるかな。

さっきまでスクレイピングしてたから脳がPythonとBeautifulSoupだけど頑張ります pic.twitter.com/5289hKrJD1

ぼくもPython書くことあるけど、SeleniumとかBeautifulSoup4とかでスクレイピングしたりブラウザ操作したりする程度だから業務で使えるレベルではないんだよな

生成AIとスクレイピングの組み合わせが強い( ˙꒳​˙ ) ここに、こうなっとるじゃろ？ここのデータを各ページ欲しいねん、って聞いたらすぐbeautifulsoupでのコードを示してくれる、昔の自分のコードとかいらんかったんや……

とてもよかっだけどという意見がある一方でこの本だけで満足できる人は少ないかもという意見も見られる。Pythonによるスクレイピング&機械学習開発テクニックBeautifulSoup,scikit-learn,T... amzn.to/2kgnWDc

スクレイピングの手順 1. URLにリクエストをする 2. Webサーバーからのレスポンスを受け取る 3. レスポンスから欲しいデータを取り出す 2.まで→requestsモジュール 3. → beautifulsoup4モジュール #ノンプロ研 #Python講座

最近webスクレイピングにハマってる ニュースサイトから記事を取ってきたり、インスタの画像を取得して保存したり… RequestsとBeautifulSoup、Seleniumなどなど。 HTMLの属性と要素がまだあやふやなので理解できるよう勉強だ！ #文系エンジニア

返信先:@obichan117ぽこ暴威定着しちゃうw 一応beautifulsoup使えばスクレイピングできることぐらいは知ってるんですが実際にやったことがなかったので、おもしろーと思いながら読んでました　9割好奇心ですw 暇になったら韓国のほうでやってみますw

非エンジニアで生成AIを勉強中の方はプログラミングを身に付けて、以下が実現できるようになると一段レベル上がると思う。 ①検索結果を生成AIにぶち込む ・Serp APIやDuckDuckGOで検索結果を取得する ・SeleniumやBeautifulSoupで検索上位をスクレイピングする…