本文是在学习David Silver所教授的Reinforcement learning课程过程中所记录的笔记。因为个人知识的不足以及全程啃生肉，难免会有理解偏差的地方，欢迎一起交流。

课程资料：http://www0.cs.ucl.ac.uk/staff/D.Silver/web/Teaching.html

1、Markov Processes

在RL中，MDP是用来描述environment的，并且假设environment是full observable的

i.e. The current state completely characterizes the process

许多RL问题可以用MDP来表示：

• Optimal control primarily deals with continuous MDPs
• Partially observable problems can be converted into MDPs
• Bandits are MDPs with one state

本文是在学习David Silver所教授的Reinforcement learning课程过程中所记录的笔记。因为个人知识的不足以及全程啃生肉，难免会有理解偏差的地方，欢迎一起交流。

课程资料：http://www0.cs.ucl.ac.uk/staff/D.Silver/web/Teaching.html

关于 Reinforcement learning的两本参考：

An Introduction to Reinforcement Learning

https://webdocs.cs.ualberta.ca/~sutton/book/the-book-1st.html

Algorithms for Reinforcement Learning

https://sites.ualberta.ca/~szepesva/papers/RLAlgsInMDPs.pdf

本文是在学习Andrew Ng所教授的Machine learning课程过程中所记录的笔记。因为个人知识的不足以及英文教学，难免会有理解偏差的地方，欢迎一起交流。

课程资料：https://www.coursera.org/learn/machine-learning

Machine learning 主要分为两类：

Supervised Learning：regression problem、classification problem

例子：房价估计，良性恶性肿瘤判断

supervised learning:”right answers” given

• regression: predict continuous valued output(price)
• classification: discrete valued output(0 or 1)

Unsupervised Learning：clustering algorithm

例子：谷歌新闻，基因，organize computing clusters，social network analysis，market segmentation，astronomical data analysis，cocktail party problem（录音分辨）

最近开始学习机器学习，所以需要配一台电脑。本文主要写的是系统环境配置的内容，依据前人经验总结自己的安装过程，希望可以给大家一个参考。

主机配置：i7-6700 + 24G内存 + GTX 1080

系统环境配置：

• Ubuntu 16.04 LTS 64位
• CUDA 8.0
• cuDNN v5.1
• TensorFlow v0.12.0 RC1
• Python 2.7
• Bazel 0.4.2

在整个环境配置过程中，有许多东西可以提前下载好，在配置时便可以节省时间了。

• CUDA 8.0 (1.4GB)：Linux > x86_64 > Ubuntu > 16.04 > runfile(local)
• cuDNN v5.1 (100MB)： 需要注册Nvidia开发者账号，Download cuDNN v5.1 (August 10, 2016), for CUDA 8.0 > cuDNN v5.1 Library for Linux。最好在Linux系统下下载，格式为.tgz。在Windows下下载的格式会识别成.solitairetheme8格式。
• TensorFlow 源码release版 (10MB+)：下载v0.12.0 RC1，zip或者tar.gz均可
• TensorFlow pip安装包 (CPU版40MB+，GPU版80MB+)：选择Linux和Python2的版本，CPU和GPU的都下。pip安装包只会下载最新版本
• Bazel 源码 (100MB+)：下载0.4.2版本，选择bazel-0.4.2-installer-linux-x86_64.sh

本文安装的是 Ubuntu 16.04 LTS 64位版本，与Windows7构成双系统

1、先从Ubunbu官方下载系统镜像，选择64位的16.04 LTS版本。

2、制作USB安装盘。在Windows系统下， 选择UltraISO来制作USB安装盘。注意，制作过程会将U盘格式化，请提前备份好资料。
进入UltralISO后，选择 文件>打开，选择下载好的Ubuntu镜像。