【プログラミング】初心者がPythonでウェブスクレイピングをするためのURL資料まとめ

【プログラミング】初心者がPythonでウェブスクレイピングをするためのURL資料まとめ

JavaScriptにPHPに覚えることが山ほどあるにもかかわらず、Pythonにも興味が湧いてきた…。どうやら、ウェブの情報をスクレイピング(自動収集)できる。これだけでもかなり魅力的だ。さらにAI化することもできるらしい…。
ということで2018年からPython生活もスタートするためにも資料URLを集めてみたよ…。

❏Python(パイソン)は、汎用のプログラミング言語である。コードがシンプルで扱いやすく設計されており、C言語などに比べて、さまざまなプログラムを分かりやすく、少ないコード行数で書けるといった特徴がある

❏Pythonは、オランダ人のグイド・ヴァンロッサムが開発した。名前の由来は、イギリスのテレビ局 BBC が製作したコメディ番組『空飛ぶモンティ・パイソン』である。Pythonという英単語が意味する爬虫類のニシキヘビがPython言語のマスコットやアイコンとして使われている。
https://ja.wikipedia.org/wiki/Python

Pythonのダウンロードサイト


https://www.python.org/downloads/

ダウンロードからインストールまで

Python 3.5.2のダウンロードとインストール
https://www.pythonweb.jp/install/install/index1.html

Python入門サイト

プログラミング初心者が最速でPythonをマスターする方法
https://qiita.com/Morio/items/0d6c30b63547af6e9cc2

スクリプト言語Pythonの入門から応用までの学習サイト
http://www.python-izm.com/

Python3入門
https://dotinstall.com/lessons/basic_python_v3

Pythonでスクレイピング

【プログラミング】Pythonでウェブスクレイピング

Python Webスクレイピング 実践入門(2017年11月29日に更新)
https://qiita.com/Azunyan1111/items/9b3d16428d2bcc7c9406

1時間ごとに、日経サイトにアクセスして、株価情報をスクレイピングして、CSV形式で保存するというスクリプト…。これはボクのやりたいことに結構にている。

ここでは、

urllib2、
BeautifulSoup

あたりが重要そうだ。

PythonでWebスクレイピングする時の知見をまとめておく(2017-06-25)
http://vaaaaaanquish.hatenablog.com/entry/2017/06/25/202924

Pythonのバージョンは3系
HTTPを使うならrequests
HTTPリクエストかける時は、timeoutとheaderをかけて実行する
Python for iOSなどではデフォルトでrequestsがインテグレーションされている。
urllib.parse

Scrapy を使うスクレイピング

Scrapy + Scrapy Cloudで快適Pythonクロール+スクレイピングライフを送る
http://data.gunosy.io/entry/python-scrapy-scraping

Pythonで、人工知能の作り方

【初心者必見】3ステップで人工知能の作り方をマスターしよう!
https://www.sejuku.net/blog/7630

❏「Wit.ai」を使うと、話しかけたり、文章を送って動かせるアプリケーションを簡単に作ることができます。
❏Jasperは、ラズベリーパイを使って音声認識アプリケーションを作れるPython製のサービスです。
❏Coursera
https://www.coursera.org/learn/machine-learning
機械学習するならこれ!といわれる有名なサイトです。

この書籍を読みながらこのスクレイピング方法を教えてもらいました!

Python スクレイピングのやりかた
https://4knn.tv/python-scraping/

優良企業多数!フリーランスエンジニア案件情報サイト【ポテパンフリーランス】