アウトプットすることが1番覚える！ #ノンプロ研 #Python講座

そもそもHTMLの構造をわかってないからピンと来てない気がする… #ノンプロ研 #Python講座

返信先:@kudou32323来週でしたか！ ここややこいですよね！ #ノンプロ研 #Python講座

返信先:@alice37308108そうです！ なるべく全部HTMLを全部張り付けて、取得したい要素や値を聞くとだいたいこたえてくれます！ #ノンプロ研 #Python講座

継続的にデータを取得できるか、サイトの変化に対応できるかどうかが、HTML解析スクレイピングの腕前となりそう。 #ノンプロ研 #Python講座

CSSセレクタも含めて、HTML解析でのスクレイピングはWebサイトの構造に対する深い理解が求められますね。 #ノンプロ研 #Python講座

講座でやるかわからないけど､スクレイピングする際にはインラインフレーム(iframe)にも注意 取得しているHTMLが異なることがあるのでiframeを切り替える必要がある｡ なので取得したHTMLを確認するのが大事 #ノンプロ研 #Python講座

CSSとは、HTML要素にスタイルを指定するための言語。 #ノンプロ研 #Python講座

続いて、CSSセレクタでの取得方法。 #ノンプロ研 #Python講座

ディベロッパーツール、むずい🫠 #ノンプロ研 #Python講座

HTMLの解読はChatGPTと協力して読み解くのがやはりオススメです｡ 簡単なサイトだと良いのですが､複雑なものだと､自分だけで読み解くのは大変です｡ #ノンプロ研 #Python講座

宿題難しそう… #ノンプロ研 #Python講座

結局、階層なのか。。。 #ノンプロ研 #Python講座 pic.twitter.com/Re2ysPw15c

タグでスープの具材をさがすんですね！ findは最初のタグしか見つけられないよ！ #ノンプロ研 #Python講座

HTMLは、HTML解析スクレイピングだけでなくマークダウン記法やJavaScriptなど複合的に知識を身に付けていくとよさそうですね。 #ノンプロ研 #Python講座

「スープを作りますー」 プログラミングの講座で料理を教わってるみたい笑 #ノンプロ研 #Python講座

soupっていうけど、 なんか初心者からすると闇鍋。 #ノンプロ研 #Python講座

デベロッパーツールを使って、欲しい要素のタグを調べていく。 #ノンプロ研 #Python講座

Chromeのデベロッパーツールを開く 「ctrl + Shift + I」またはF12 #ノンプロ研 #Python講座

ありがとうスープ！ #ノンプロ研 #Python講座 pic.twitter.com/ikamwjBNq1

Python講座は毎回、時間が経つのが本当は早いです。。 #ノンプロ研 #Python講座

ちなみにXは意図的にHTMLを難読化してスクレイピングを困難にしてます。 ディベロッパーツールを開いてみると要素の名前がグチャグチャになっているかなと思います。 #ノンプロ研 #Python講座

ブラウザとはHTMLドキュメントを解析・変換して Webページとして表示するソフトウェア ⇒こんな感じのHTMLをいい感じに表示してくれます #ノンプロ研 #Python講座 pic.twitter.com/Ju8VAsiAgc

ChromeであればF12でひらくディベロッパーツールもスクレイピングする上でとてもお世話になります すこしづつなれていきましょう #ノンプロ研 #Python講座

importの際はbs4でインポートする。 #ノンプロ研 #Python講座

beautifulsoup4モジュール HTMLドキュメントを解析するためのライブラリ これもAnacondaに同梱 #ノンプロ研 #Python講座

HTMLの解析を自力でやるのは大変でしたがいまは生成AIか強い味方です。 取得したHTMLを渡してあげて、取得したいものを指定すると、教えてくれます。 #ノンプロ研 #Python講座

「ctrl + U」でページのソースを開く #ノンプロ研 #Python講座

リクエストの結果はJS実行前のHTMLだったりします。 取得したHTMLはログ出力か何かで一度中身を確認するのがオススメです。 #ノンプロ研 #Python講座

HTML解析でのスクレイピングではHTMLのタグを読むのが大変なんですよね… #ノンプロ研 #Python講座

スクレイピングの手順 1. URLにリクエストをする 2. Webサーバーからのレスポンスを受け取る 3. レスポンスから欲しいデータを取り出す 2.まで→requestsモジュール 3. → beautifulsoup4モジュール #ノンプロ研 #Python講座

続いてHTML解析。 BeautifulSoupを使います。 #ノンプロ研 #Python講座

そうか、サイト内検索はGETリクエストをしているのか。。意識したことが無かったな。。 #ノンプロ研 #Python講座

requestsにはpostメソッドもありますね。 paramsでJSONを渡してWebAPIとのやりとりもできます。 #ノンプロ研 #Python講座

APIは中身が見えなかったけど スプレイピングは文字ばっかり。 #ノンプロ研 #Python講座

スクレイピング難しい😅 #ノンプロ研 #Python講座

payloadは辞書 #ノンプロ研 #Python講座

どのようなパラメータを渡せるかはサイトによって違うというのがドハマりポイントですね😭 #ノンプロ研 #Python講座

GETリクエストでパラメータを渡すとき ⇒requests.get(url, params=payload) ⇒payloadは辞書で指定する #ノンプロ研 #Python講座 pic.twitter.com/gibf7V3WLK

raise_for_status()で「リクエスト成功」以外の場合にエラーを生じさせて処理を中断できる #ノンプロ研 #Python講座