この記事ではPythonによるWebスクレイピング入門編【業務効率化への第一歩】
について解説します。
「スクレイピングに興味があるけど、基礎すら分からない・・」
という人にオススメなコースです。
「PythonによるWebスクレイピング入門編」で学べること
まずはコース内容を説明します。
[st-mybox title=”” fontawesome=”fa-check-circle” color=”#757575″ bordercolor=”#BDBDBD” bgcolor=”#ffffff” borderwidth=”2″ borderradius=”5″ titleweight=”bold” fontsize=”” myclass=”st-mybox-class” margin=”25px 0 25px 0″]
- スクレイピングをするための事前準備
- 要素の取得からログインまでの流れ
- 練習サイトでのスクレイピング
- 画像を収集するライブラリの使い方
- より実践的なスクレイピングの手法
[/st-mybox]
「入門編」と書かれているように、スクレイピング初心者用のコースです。
まずはスクレイピングの動かし方を学んで、そのあとに実際のサイトからデータを取得していきます。
スクレイピング経験のある人には物足りなく感じるかもしれません。
[st-kaiwa1]基礎中の基礎を学べるので、スクレイピング未経験者にぴったりのコースです[/st-kaiwa1]
「PythonによるWebスクレイピング〜入門編」の良い点
それでは良い点を見ていきましょう。
[st-mybox title=”” fontawesome=”fa-check-circle” color=”#757575″ bordercolor=”#BDBDBD” bgcolor=”#ffffff” borderwidth=”2″ borderradius=”5″ titleweight=”bold” fontsize=”” myclass=”st-mybox-class” margin=”25px 0 25px 0″]
- 環境構築が不要
- スクレイピングの基礎に重点を置いてる
- 当コース専用のサイトが用意されている
- サンプルコードが豊富なので挫折しにくい
[/st-mybox]
難しいこと（環境構築など）をやらずに済むように、初心者の学習に特化したコースだと思いました。
また、書いたコードが動かない人のために、サンプルコードも用意されています。
[st-kaiwa1]それぞれ解説します！[/st-kaiwa1]
環境構築が不要
Pythonに限らずプログラミングの環境構築はとても難しいです。
解説記事と同じようにコードを書いても、なぜか動かないケースもあります。
環境構築に時間をかけずに済むように、このコースではJupyter Notebookというサービスを使用しています。
[st-mybox title=”Jupyter Notebookとは？” fontawesome=”fa-file-text-o” color=”#757575″ bordercolor=”” bgcolor=”#fafafa” borderwidth=”0″ borderradius=”5″ titleweight=”bold” fontsize=”” myclass=”st-mybox-class” margin=”25px 0 25px 0″]
SafariやGoogle Chromeなどのブラウザ上でプログラムを動かせる便利なツールです
[/st-mybox]
つまり、「ターミナルを起動したり黒い画面コマンドを入力したり・・」このような面倒くさい作業は必要ありません。
ブラウザだけでスクレイピングするための準備が揃います。
[st-kaiwa1]スタートの段階で苦戦することがないので、初心者でも安心ですね[/st-kaiwa1]
スクレイピングの基礎に重点を置いてる
スクレイピングは一見シンプルですが、可読性の高いコードを目指したりすると、かなり奥深い知識が必要になります。
例えば、このコースで使用するseleniumの公式ページには、いろいろな機能の使い方が書かれています。
[st-mybox title=”” fontawesome=”fa-check-circle” color=”#757575″ bordercolor=”#BDBDBD” bgcolor=”#ffffff” borderwidth=”2″ borderradius=”5″ titleweight=”bold” fontsize=”” myclass=”st-mybox-class” margin=”25px 0 25px 0″]
- ページ読み込み戦略
- httpプロキシ
- Remote Webdriver
[/st-mybox]
などなど・・難しそうな言葉が並んでますよね。
複雑なサイトのスクレイピングをしない限り、上記のスキルは必須ではありません。
今回のコースでは「とりあえずスクレイピングするための基礎知識」を学ぶことに重点を置いています。
なので、プログラミング初心者でもスムーズに学習することが可能です。
[st-kaiwa1]難しい言葉は覚える必要ないので、プログラミングが嫌いになる事はないでしょう（笑）[/st-kaiwa1]
当コース専用のサイトが用意されている
受講者限定のスクレイピング練習用サイトが用意されています。
（PythonによるWebスクレイピング入門編【業務効率化への第一歩】より引用）
実際のサイトでスクレイピングをする前に練習できるので安心ですね。
[st-kaiwa1]初心者でもスクレイピングしやすいサイト設計になっています[/st-kaiwa1]
サンプルコードが豊富なので挫折しにくい
受講者限定の練習サイトには、スクレイピング用のサンプルコードも用意されています。
[st-kaiwa2]自分で書いたコードが動かない・・[/st-kaiwa2]
という現象にハマったら、最終手段としてサンプルコードをそのまま使うのも良いと思います。
そして、動くことを確認した後に、もう一度コードを書いてみましょう。
[st-kaiwa1]まずはサンプルコードを真似て書くのもOKです[/st-kaiwa1]
「PythonによるWebスクレイピング〜入門編」の微妙な点
少しだけ気になる点もありました。
[st-mybox title=”” fontawesome=”fa-check-circle” color=”#757575″ bordercolor=”#BDBDBD” bgcolor=”#ffffff” borderwidth=”2″ borderradius=”5″ titleweight=”bold” fontsize=”” myclass=”st-mybox-class” margin=”25px 0 25px 0″]
- 講座のボリュームは控えめ
- データ加工についての情報はない
[/st-mybox]
[st-kaiwa1]購入してから後悔しないように、事前にチェックしておきましょう[/st-kaiwa1]
講座のボリュームは控えめ
2.5時間のコースなので、ボリュームは多くないですね。
[st-kaiwa1]言い方を変えると「本当に必要なことだけが凝縮されてる」と考えられます[/st-kaiwa1]
しかし、実際のスクレイピング問題は3つしか用意されてないので、ちょっと少ないかなーと感じました。
[st-mybox title=”” fontawesome=”fa-check-circle” color=”#757575″ bordercolor=”#BDBDBD” bgcolor=”#ffffff” borderwidth=”2″ borderradius=”5″ titleweight=”bold” fontsize=”” myclass=”st-mybox-class” margin=”25px 0 25px 0″]
- 自動でログインする方法
- ランキングサイトからのデータ取得
- 画像データの取得（1枚だけ）
[/st-mybox]
用意されている課題が少ないので、このコースだけでスクレイピングを完全に理解することは出来ません。
受講が終わったら、実際のサイトでスクレイピングをしてみると良いでしょう。
スクレイピングしやすいサイトをいくつか紹介しておくので、実践力を上げたい人はぜひチャレンジしてください。
[st-cmemo fontawesome=”fa-file-text-o” iconcolor=”#919191″ bgcolor=”#fafafa” color=”#000000″ bordercolor=”” borderwidth=”” iconsize=””]
[/st-cmemo]
データ加工についての情報はない
当コースを最後まで終わらせると、「スクレイピング取得したデータをCSVファイルに書き出す」スキルは身につきます。
しかし、データ加工の方法には触れていません。
スクレイピングで取得したデータを活用するには、データを加工する必要があります。
データ加工にはpandasというライブラリを使うのがオススメです。
pandasは下記のコースで学ぶことが出来るので、余裕のある人はチェックしておきましょう。
[st-cmemo fontawesome=”fa-file-text-o” iconcolor=”#919191″ bgcolor=”#fafafa” color=”#000000″ bordercolor=”” borderwidth=”” iconsize=””]
【世界で37万人が受講】データサイエンティストを目指すあなたへ〜データサイエンス25時間ブートキャンプ〜
[/st-cmemo]
[st-kaiwa1]pandas以外にもscikit-learnなどの機械学習ライブラリも学べるので、興味がある人は買っておくと良いですね[/st-kaiwa1]
スクレイピングを学習するメリット
Pythonには多くのライブラリが用意されていて、できることの汎用性が高いので
[st-mybox title=”” fontawesome=”fa-check-circle” color=”#757575″ bordercolor=”#BDBDBD” bgcolor=”#ffffff” borderwidth=”2″ borderradius=”5″ titleweight=”bold” fontsize=”” myclass=”st-mybox-class” margin=”25px 0 25px 0″]
- 機械学習
- データ分析
- 作業の自動化
- スクレイピング
[/st-mybox]
などの様々なケースで使われています。
初心者こそ「スクレイピング」を習得すべきだと自分は考えています。
スクレイピングを勉強すべき理由は下記の2つになります。
[st-mybox title=”” fontawesome=”fa-check-circle” color=”#757575″ bordercolor=”#BDBDBD” bgcolor=”#ffffff” borderwidth=”2″ borderradius=”5″ titleweight=”bold” fontsize=”” myclass=”st-mybox-class” margin=”25px 0 25px 0″]
- 副業の案件が多い
- Python文法の基礎だけ理解すればOK
[/st-mybox]
[st-kaiwa1]それぞれ解説します[/st-kaiwa1]
副業の案件が多い
プログラミングを勉強したいと考えている人は
[st-kaiwa2]需要の高いプログラミングで副業をしたい…！[/st-kaiwa2]
という目的を持っている人が多いのではないでしょうか？
プログラミングの副業は「Web制作」が人気だと思いますが、
[st-mybox title=”” fontawesome=”fa-check-circle” color=”#757575″ bordercolor=”#BDBDBD” bgcolor=”#ffffff” borderwidth=”2″ borderradius=”5″ titleweight=”bold” fontsize=”” myclass=”st-mybox-class” margin=”25px 0 25px 0″]
- 単価が低め
- レッドオーシャン
[/st-mybox]
などの理由があるので、あまりオススメできません。
[st-kaiwa1]2019年頃から参入者が急激に増えてしまったので、今から始めるのは厳しいです[/st-kaiwa1]
しかし、スクレイピングであれば
[st-mybox title=”” fontawesome=”fa-check-circle” color=”#757575″ bordercolor=”#BDBDBD” bgcolor=”#ffffff” borderwidth=”2″ borderradius=”5″ titleweight=”bold” fontsize=”” myclass=”st-mybox-class” margin=”25px 0 25px 0″]
- やってる人が少ない
- そこそこ案件も多い
- Pythonの基礎を理解すればOK
[/st-mybox]
このような理由があるので、スクレイピングでの副業はかなり良いと思います。
[st-cmemo fontawesome=”fa-file-text-o” iconcolor=”#919191″ bgcolor=”#fafafa” color=”#000000″ bordercolor=”” borderwidth=”” iconsize=””]
スクレイピングで副業するなら、coconala(ココナラ)がおすすめです
ココナラ：無料登録
[/st-cmemo]
Python文法の基礎だけ理解すればOK
機械学習やディープラーニングに興味がある人は、scikit-learnやTensorFlowなどのライブラリを学ぶ必要があります。
[st-kaiwa1]この２つは難しめなので、初心者には向いてません[/st-kaiwa1]
一方でスクレイピングに必要なスキルは
[st-mybox title=”” fontawesome=”fa-check-circle” color=”#757575″ bordercolor=”#BDBDBD” bgcolor=”#ffffff” borderwidth=”2″ borderradius=”5″ titleweight=”bold” fontsize=”” myclass=”st-mybox-class” margin=”25px 0 25px 0″]
- Pythonの基本文法
- Request
- Selenium
- BeautifulSoup
[/st-mybox]
この４つだけマスターしておけば、大抵のサイトはスクレイピングできます。
[st-kaiwa1]上記のライブラリ（Seleniumなど）はそこまで難しくないので、初心者でも理解しやすいと思います[/st-kaiwa1]
最後に
いかがだったでしょうか？
今回はPythonによるWebスクレイピング入門編【業務効率化への第一歩】の内容を解説しました。
スクレイピング初心者の最初の1歩にぴったりのコースだと思うので、興味のある人はぜひ学習してみてください。
