4,694 Views

【プログラミング】初心者がPythonでウェブスクレイピングをするためのURL資料まとめ

スポンサーリンク


【プログラミング】初心者がPythonでウェブスクレイピングをするためのURL資料まとめ

JavaScriptにPHPに覚えることが山ほどあるにもかかわらず、Pythonにも興味が湧いてきた…。どうやら、ウェブの情報をスクレイピング(自動収集)できる。これだけでもかなり魅力的だ。さらにAI化することもできるらしい…。
ということで2018年からPython生活もスタートするためにも資料URLを集めてみたよ…。

❏Python(パイソン)は、汎用のプログラミング言語である。コードがシンプルで扱いやすく設計されており、C言語などに比べて、さまざまなプログラムを分かりやすく、少ないコード行数で書けるといった特徴がある

❏Pythonは、オランダ人のグイド・ヴァンロッサムが開発した。名前の由来は、イギリスのテレビ局 BBC が製作したコメディ番組『空飛ぶモンティ・パイソン』である。Pythonという英単語が意味する爬虫類のニシキヘビがPython言語のマスコットやアイコンとして使われている。
https://ja.wikipedia.org/wiki/Python

Pythonのダウンロードサイト


https://www.python.org/downloads/

ダウンロードからインストールまで

Python 3.5.2のダウンロードとインストール
https://www.pythonweb.jp/install/install/index1.html

Python入門サイト

プログラミング初心者が最速でPythonをマスターする方法
https://qiita.com/Morio/items/0d6c30b63547af6e9cc2

スクリプト言語Pythonの入門から応用までの学習サイト
http://www.python-izm.com/

Python3入門
https://dotinstall.com/lessons/basic_python_v3

Pythonでスクレイピング

【プログラミング】Pythonでウェブスクレイピング

Python Webスクレイピング 実践入門(2017年11月29日に更新)
https://qiita.com/Azunyan1111/items/9b3d16428d2bcc7c9406

1時間ごとに、日経サイトにアクセスして、株価情報をスクレイピングして、CSV形式で保存するというスクリプト…。これはボクのやりたいことに結構にている。

ここでは、

urllib2、
BeautifulSoup

あたりが重要そうだ。

PythonでWebスクレイピングする時の知見をまとめておく(2017-06-25)

Pythonのバージョンは3系
HTTPを使うならrequests
HTTPリクエストかける時は、timeoutとheaderをかけて実行する
Python for iOSなどではデフォルトでrequestsがインテグレーションされている。
urllib.parse

Scrapy を使うスクレイピング

Scrapy + Scrapy Cloudで快適Pythonクロール+スクレイピングライフを送る

Pythonで、人工知能の作り方

【初心者必見】3ステップで人工知能の作り方をマスターしよう!
https://www.sejuku.net/blog/7630

❏「Wit.ai」を使うと、話しかけたり、文章を送って動かせるアプリケーションを簡単に作ることができます。
❏Jasperは、ラズベリーパイを使って音声認識アプリケーションを作れるPython製のサービスです。
❏Coursera
https://www.coursera.org/learn/machine-learning
機械学習するならこれ!といわれる有名なサイトです。

この記事に関連する記事

スポンサーリンク