表だけだからと、pandasで手抜きスクレイピングしてたのだめか、、、真面目にbeautifulsoupするか。

初心者の頃に「だれでもわかる〜」みたいなPythonの本を買って数冊読んでいたんだけど、beautifulsoup使ってスクレイピングとかtkinter使ってGUI作るとか振り返ってみるとその後1回も使ってないというか、ド素人に対する設定するテーマとして適切ではない気がする。

HTMLやCSSは学部生の物理ナビゲーションスタッフ在籍時にWeb開発で触ってて当時はやれ「プログラミング言語じゃないし無駄笑」とか「Bootstrapとか触ってないんだね笑」って馬鹿にされたけど、今になってSeleniumやBeautifulsoupでスクレイピングする時やFlask構築する時に役に立ってるよほんと

スクレイピングのコード、対象がボタン操作多めの動的なサイトだったので全部seleniumでコードしたんですが、やっぱり収集の遅さは否めないので適宜beautifulsoupに置き換えるべきかなぁなどと

たまにconky触りたくなる病になるんだが、今回はスクレイピングしたデータを表示するためにBeautifulsoupと格闘している。 #conky #Beautifulsoup

手持ちのスクレイピング術。PHPで正規表現、node.jsでpuppeteerでquerySelector、PythonでSeleniumでBeautifulSoup、そしてここにGASが追加される予定です。GASはスプレッドシートと組み合わせれるのでサーバも要らんし最強っぽいな。データベースに保存したい時はサーバですることになるか

reactでできているサイトとかのレンダリングを待つ仕組みとかもSeleniumなら入れれましたね。BeautifulSoupで要素全部取得できなくてどうしたと思ったらWebDriverWaitとか入れてやれば良いのね。とりあえずこれでpythonでスクレイピングできるよと言えるかな。

さっきまでスクレイピングしてたから脳がPythonとBeautifulSoupだけど頑張ります pic.twitter.com/5289hKrJD1

ぼくもPython書くことあるけど、SeleniumとかBeautifulSoup4とかでスクレイピングしたりブラウザ操作したりする程度だから業務で使えるレベルではないんだよな

生成AIとスクレイピングの組み合わせが強い( ˙꒳​˙ ) ここに、こうなっとるじゃろ？ここのデータを各ページ欲しいねん、って聞いたらすぐbeautifulsoupでのコードを示してくれる、昔の自分のコードとかいらんかったんや……

非エンジニアで生成AIを勉強中の方はプログラミングを身に付けて、以下が実現できるようになると一段レベル上がると思う。 ①検索結果を生成AIにぶち込む ・Serp APIやDuckDuckGOで検索結果を取得する ・SeleniumやBeautifulSoupで検索上位をスクレイピングする…