By: Iwan Gabovitch
【プログラミング】初心者がPythonでウェブスクレイピングをするためのURL資料まとめ
JavaScriptにPHPに覚えることが山ほどあるにもかかわらず、Pythonにも興味が湧いてきた…。どうやら、ウェブの情報をスクレイピング(自動収集)できる。これだけでもかなり魅力的だ。さらにAI化することもできるらしい…。
ということで2018年からPython生活もスタートするためにも資料URLを集めてみたよ…。
❏Python(パイソン)は、汎用のプログラミング言語である。コードがシンプルで扱いやすく設計されており、C言語などに比べて、さまざまなプログラムを分かりやすく、少ないコード行数で書けるといった特徴がある
❏Pythonは、オランダ人のグイド・ヴァンロッサムが開発した。名前の由来は、イギリスのテレビ局 BBC が製作したコメディ番組『空飛ぶモンティ・パイソン』である。Pythonという英単語が意味する爬虫類のニシキヘビがPython言語のマスコットやアイコンとして使われている。
https://ja.wikipedia.org/wiki/Python
Pythonのダウンロードサイト
https://www.python.org/downloads/
ダウンロードからインストールまで
Python 3.5.2のダウンロードとインストール
https://www.pythonweb.jp/install/install/index1.html
Python入門サイト
プログラミング初心者が最速でPythonをマスターする方法
https://qiita.com/Morio/items/0d6c30b63547af6e9cc2
スクリプト言語Pythonの入門から応用までの学習サイト
http://www.python-izm.com/
Python3入門
https://dotinstall.com/lessons/basic_python_v3
Pythonでスクレイピング
【プログラミング】Pythonでウェブスクレイピング
Python Webスクレイピング 実践入門(2017年11月29日に更新)
https://qiita.com/Azunyan1111/items/9b3d16428d2bcc7c9406
1時間ごとに、日経サイトにアクセスして、株価情報をスクレイピングして、CSV形式で保存するというスクリプト…。これはボクのやりたいことに結構にている。
ここでは、
urllib2、
BeautifulSoup
あたりが重要そうだ。
PythonでWebスクレイピングする時の知見をまとめておく(2017-06-25)
http://vaaaaaanquish.hatenablog.com/entry/2017/06/25/202924
Pythonのバージョンは3系
HTTPを使うならrequests
HTTPリクエストかける時は、timeoutとheaderをかけて実行する
Python for iOSなどではデフォルトでrequestsがインテグレーションされている。
urllib.parse
Scrapy を使うスクレイピング
Scrapy + Scrapy Cloudで快適Pythonクロール+スクレイピングライフを送る
http://data.gunosy.io/entry/python-scrapy-scraping
Pythonで、人工知能の作り方
【初心者必見】3ステップで人工知能の作り方をマスターしよう!
https://www.sejuku.net/blog/7630
❏「Wit.ai」を使うと、話しかけたり、文章を送って動かせるアプリケーションを簡単に作ることができます。
❏Jasperは、ラズベリーパイを使って音声認識アプリケーションを作れるPython製のサービスです。
❏Coursera
https://www.coursera.org/learn/machine-learning
機械学習するならこれ!といわれる有名なサイトです。
この書籍を読みながらこのスクレイピング方法を教えてもらいました！
Python スクレイピングのやりかた
https://4knn.tv/python-scraping/
