Following are some of my favorite repositories that I have contributed to and/or contribute to.
![dependabot[bot] avatar](https://avatars.githubusercontent.com/in/29110?v=4 "dependabot[bot]")
赫拉利三部曲 1、作者简介 尤瓦尔·赫拉利是以色列历史学家，出生于1976年，牛津大学历史学博士，耶路撒冷希伯来大学历史系教授，代表作为《人类简史》和《未来简史》。尤瓦尔·赫拉利擅长世界历史和宏观历史进程研究，是学界公认的“青年怪才”。 2、主要内容 这三步曲中，赫拉利分别讨论了三个话题，人的过去是什么，现在的人处在发展的什么位置，以及人的未来的发展方向是什么样子的。 在人类简史中，赫拉利说明我们人类的有三次决定性的“发明”让我们变成现在的样子。第一次是出现了谈论抽象的能力，这使的我们拓展了表达的能力，使人类的合作范围扩大了许多。第二次则是出现了通过想象力来构建一种虚拟的政治秩序，来继续扩大可合作的范围。最终，通过金钱秩序，帝国秩序和信仰秩序这三种秩序，让全球人类进行合作成为了可能。但是这前两种秩序依旧有它的天花板，于是就带来了一种特殊的革命，“科技革命”。在这场革命中，人类首先承认了自己的无知，立根与观察和数学，这种科学是可以运用已有理论取得新能力，即进步是可以叠加的，就好比我们的瓷器曾今是世界最优秀的技术，但是由于仅仅是口口相传，没有留下准确的实验记录导致了烧制瓷器的技术不断的被“再发明”，最终被日本和欧洲超过。
https://vdeamov.github.io/tensorflow/2018/12/08/Tensorflow%E5%85%A5%E9%97%A8%E4%B9%8BEstimator/
Estimator 作用简介 Estimator 使用来简化机器学习训练、评估、预测的一个高阶 TensorFlow API。我们可以使用预创建的 Estimator，也可以自己编写自定义的 Estimator，但是所有的 Estimator 都是基于 tf.estimator.Estimator 类的类。
聚类算法（下） 聚类算法上中讲了大名鼎鼎的K-Means算法及其优化变种，在这篇中几种讲述两位两种不同思路的聚类算法。 层聚类算法 传统层聚类算法—AGNES和DIANA算法 层次聚类和K-Means的思路不太一样，它的思路有点像是决策树，按照层次进行分解，知道满足某种条件为止，传统的层次聚类分为自底而上，和自上而下两类： 凝聚的层次聚类:
CS224n笔记01 自然语言处理与深度学习简介 简单声明 本笔记为 CS224n 课程在学习过程中留下的笔记。整体风格以简洁为主，尽量去掉不必要的背景知识说明，只留下个人觉得最重要的内容以供日后参考回忆。其中部分内容为了巩固英语，可能会因为方便采用英文记录。
命运的一些思考 在听了吴军老师的《硅谷来信 311～314》期的内容后有一些小小的感悟。我们的未来，也就是命运是由什么决定的呢，这个问题困扰我多年。今天就来记录下自己的所思所想。 定义 命运是什么？首先让我们看看百度百科的定义。
简介 简单的来说全书是这样的一个逻辑，首先在书中一开始，说明了这次的人工智能和之前的深蓝这种专家系统1有着本质的区别，它跳出了人用自己的知识告诉机器应该怎么办这种固有的思维框架，而“放手”设计结构让机器自行去学习。 https://zh.wikipedia.org/zh-hans/专家系统 ↩
前言 这两天，学长派的任务中，需要使用 Scrapy 爬去许多国外的网站，需要给 Scrapy 搭梯子，而 Scrapy 只支持 http 的代理，故记录下这次 socks 转 http 的步骤。 前置软件 shadowsocks （就不解释了，大家都知道） privoxy
支持向量机的补充之核函数 支持向量机的补充之核函数 在之前的SVM章节中我们介绍了其具体的原理和大致推导过程，但是由于SVM只能应用于线性可分的数据，那么如果出现了线性不可分的情况怎么办呢，这就要引入今天的重点核函数。这种**将在未来的深度学习中也会出现。 为什么要使用核函数 之前我们在线性回归算法中讲到的，使用多项式扩展来考虑属性间有相关性的问题。 将非线性问题变成线性问题。
https://vdeamov.github.io/%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0/2018/09/15/EM%E7%AE%97%E6%B3%95/#
EM算法 1、必要的前置知识 最大似然估计（MLE）：找出一组参数(模型中的 参数)，使得模型产出观察数据的概率最大。 贝叶斯算法估计：从先验概率和样本分布情况来计算后验概率的一种方式。 最大后验概率估计（MAP）：另一种MLE的感觉，求
https://vdeamov.github.io/nlp/2018/10/28/CS224n_note_02_word2vec/
CS224n 笔记02 词的向量表示：word2vec 如何表达一个词语的意思 要表达一个词语的意思，首先我们要知道什么是词语的意思呢。 Definition: meaning (Webster dictionary) the idea that is represented by a word, phrase, etc. the idea that a person wants to express by using words, signs, etc. the idea that is expressed in a work of writing, art, etc.
https://vdeamov.github.io/tensorflow/2018/12/08/Tensorflow%E5%85%A5%E9%97%A8%E4%B9%8BKeras/
Keras 官宣特征 简单快速的圆形部署 支持 CNN 和 RNN，也支持两者结合 同时支持 CPU 和 GPU 计算。
决策树优化策略 剪枝优化 决策树的剪枝是决策树算法中最基本、最有用的一种优化方案，分为以下两类： 前置剪枝：在构建决策树的过程中，提前停止。这种策略无法得到比较好的结果 后置剪枝：在决策树构建好后，然后开始剪裁，一般使用两种方案。a）用单一叶子结点代替整个子树，也节点的分类采用子树中最主要的分类。b）将一个子树完全替代另一个子树。后置剪枝的主要问题是存在计算效率问题，存在一定的浪费情况。
这次的课比较轻松，简单的来说就是链式法则，帅小哥为了让学生更能理解所以用了不同的方式来讲解这个 BP 的推导。流程图的形式的推导对之后的 Tensorflow 的直观理解很有帮助，不过这里就只保留 BP 推导后的一些经验的总结。 为什么要推导 BP 算法呢 真正理解神经网络背后的数学 - 反向传播算法 Backprop can be an imperfect abstraction - BP 还是不完善的 如会出现梯度消失、梯度爆炸等 当你 Debug 模型，和设计新模型的时候会需要懂它
决策树 信息熵 信息量:指的是一个样本/事件所蕴含的信息，如果一个事件的概率越大，那么就 可以认为该事件所蕴含的信息越少。
回归算法下 序言 在机器学习02（回归算法上）中我们介绍了普通最小二乘线性回归算法，并进行了较为详细的推导，并通过分析其过拟合的问题，推导出了另外三个算法，Ridge回归算法，LASSO回归算法，以及弹性网络。并简要的分析了他们的优缺点。今天我们来接着介绍算法。为什么说是算法而不是回归算法呢，是因为在研究了逻辑回归和Softmax回归算法以后，惊讶的发现这两个算法是分类算法，所以这个回归算法下的说法就不是很严谨了。
Git 操作总结 基础操作 git init：将文件目录转为 git 仓库 git add <filename>：将文件存入暂存区 git push：将修改同步到远端仓库 git pull：将远端仓库的新修改同步到本地 git diff <filename>：查看工作区的修改了哪些内容，没有 add 的文件是不在 diff 的作用范围的。 git commit -m <msg>：将暂存区的内容提交到仓库，commit 后会得到干净工作区。 git status：查看工作区的状态 git log [--graph]：查看记录 git tag：查看标签
https://vdeamov.github.io/%E6%9D%82%E9%A1%B9/2018/11/27/GTD%E4%BD%BF%E7%94%A8%E6%96%B9%E6%B3%95/
GTD 使用方法 前言 自从进入了研究生以后，时间就开始严重不够用了。虽然已经把玩游戏，刷微博看八卦这种纯粹浪费时间的事情全部去掉了，但是每天仍然被做不完的事情所充斥着。 陪家人和女票的时间变得非常的少，同时觉得获得的知识摄入量也没有因此大量提升，个人觉得自己进入了吴军老师说的假忙碌状态。于是总结了以下两点原因：
深度学习自动调参之NNI使用体验 在机器学习建模时，除了准备数据，最耗时耗力的就是尝试各种超参组合，找到模型最佳效果的过程了。即使是对于有经验的算法工程师和数据科学家，有时候也很难把握其中的规律，只能多次尝试，找到较好的超参组合。而对于初学者来说，要花更多的时间和精力。 自动机器学习这两年成为了热门领域，着力解决超参调试过程的挑战，通过超参选择算法和强大的算力来加速超参搜索的过程。
https://vdeamov.github.io/nlp/2018/10/30/CS224n_note_04_WWC_NN/
CS224n 笔记04 Word Window Classification and Neural Networks 简介 这次的课程视频中主要讲了神经网络的构成，和在神经网络下的 BP 算法。整体为接下来的作业打好了基础，视频的最后也给出了对一个项目研究的基本步骤。 分类问题 - 逻辑回归的拓展 这部分为了让我们在接下来能够看的更顺利一点，做了一些名词解释：
简介 我们经常希望自己的脚本输入能变得“优雅”一点，所以让脚本能支持参数指定就很重要了。这里就记录下如何让自己的脚本支持带提示的参数的输入。
https://vdeamov.github.io/%E8%BD%AF%E4%BB%B6%E4%BD%BF%E7%94%A8/2018/11/15/config_Oh_my-Zsh/
Why Zsh 好看！ 有git实时显示 简单直白粗暴、上述亮点就是我换oh my zsh的初衷。用了它直接免去了很多的重复操作、让终端更美观、让生活更美好。
tf.data API 简介 借助这个 API 可以较为快速的入门数据导入的部分。自定义数据输入可以说是跑任何模型必须要会的部分。学习这部分 API 是入门 Tensorflow跳不过的部分。本部分和之前的 Tensorflow 部分一样，主要是筛选自官方教程，意在跳出自己认为核心的入门内容，抛去复杂的细节，以求快速入门。
降维处理之 PCA 与 SVD PCA 简要说明 PCA 的全称为主成分分析（Principal Component Analysis）。简单的来说，PCA 的目的是将原来的坐标系旋转为新的坐标系，新的坐标系的选择是由数据本身决定的。第一个坐标系的选择是原始数据中方差最大的方向，第二个是和第一个坐标系正交（orthogonal）且方差最大的坐标轴，第三个，第四个均重复上述操作，重复次数为原始数据中特征的数目1。
不同格式的数据的导入 Numpy 数据的导入 这种导入非常直白，就是使用 Numpy 把外部的数据进行导入，然后转换成 tf.Tensor ，之后使用 Dataset.from_tensor_slices()。就可以成功导入了。简单的案例如下：
https://vdeamov.github.io/python/2018/12/01/pip%E4%B8%BB%E9%A2%98/
pip的使用 安装第三方库 pip install packageName 卸载 pip uninstall packageName 检测最新包&升级包 pip list --outdated packageName pip install --upgrade packageName pip3 list --outdated | grep -e '^[a-z]' | cut -d ' ' -f 1 | xargs -n1 pip3 install -U # 小trick 一键升级所有的包 显示所有已经安装的包名 pip freeze pip list
问题分析 在 Keras 中配置多 GPU 并行计算的时候，报错 libnccl.so.2 not found。简单的来说就是 Tensorflow 多 GPU 运行的话使用了一个 NCCL 2.x 的库，但是不是默认安装的，同时又由于NCCL 2.x是动态加载的，因此不会影响不调用NCCL原语的程序，也就是说直到你第一次尝试多 GPU 为止都不会发现这个问题。
Vim作者对高效使用编辑器的建议（附原文地址） 原文链接：《Seven Habits of Effective Text Editing》 前言 本文摘自Vim主要作者Bram Moolennar的2000年11月在其个人网站发布的提高文本编辑效率的7个方法，个人认为从工具作者那里学习如何使用工具是最好的学习方式。本篇文章重点介绍了，达到高效使用编辑器的方法。 第一部分、编辑文本 1、快速在文本间移动 通过搜索的方式快速定位
支持向量机（Support Vector Machine） SVM的优点和缺点 优点：泛化错误率低，计算开销不大，结果易解释 缺点：对参数调节和核函数的选择敏感，原始分类器不加修改仅适用于处理二类问题。 数据类型：数值型和标称型数据。
机器学习系列（序章） 序言 机器学习&人工智能&深度学习，这三个是现在经常听到的词语。一旦提到了这些都会给人一种高大上的感觉，感觉会是一种很难学会的技术。表示在下血本（突然脑抽）的情况下，剁手买了1w多的数据挖掘的网课，目前正在学习它，希望能在学习完成后揭开机器学习的面纱，争取让每个读我的博客的人都能对机器学习有一个较为全面的概念。
回归算法上 在序章中我们提到了，机器学习的本质就是一个分类器，对给出的数据进行有价值的分类。 具体的机器学习算法的分类分为，监督学习和无监督学习两种。而在监督渡学习中，我们以分类的类别是否是离散的，分为两种分类方式，分别是分类和回归。即，分类后是有一定的，像水果的分类，苹果，梨，橘子等等这样确定的分类的是分类，而分类后的预测结果是一个连续的数值则是回归。在这篇文章中，我们说的回归算法便是监督算法中的回归算法。
https://vdeamov.github.io/nlp/2018/11/03/CS224n_note_04_WWC_NN/
CS224n 笔记04 Word Window Classification and Neural Networks 简介 这次的课程视频中主要讲了神经网络的构成，和在神经网络下的 BP 算法。整体为接下来的作业打好了基础，视频的最后也给出了对一个项目研究的基本步骤。 分类问题 - 逻辑回归的拓展 这部分为了让我们在接下来能够看的更顺利一点，做了一些名词解释：
简介 IPdb 是一个 python 用的 “gdb” 超级好用，如果你的编辑环境中懒得装 IDE，或者工作环境没有图形化界面的话，这个工具简直就是为你量身定制的。我已经把这个工具融入到了自己的 VIM 脚本中，成为日常码农生活的一份子。
分析 首先先放上，Stackflow 的高票答案的结论 A list comprehension is usually a tiny bit faster than the precisely equivalent for loop (that actually builds a list), most likely because it doesn’t have to look up the list and its append method on every iteration. However, a list comprehension still does a bytecode-level loop.
WeChatHelper 简介 —- WeCharHelper是基于Tkkk-iOSer的WeChatPlugin-MacOS微信插件的LaunchBar第三方插件支持。 主要功能有以下两个： 在不打开微信的情况下，通过搜索快速定位到要聊天的对象，并打开相应的聊天窗口 通过搜索快速定位到聊天对象，并发送信息。全程不打开微信窗口。
https://vdeamov.github.io/python/2018/12/10/python%E5%A4%9A%E8%BF%9B%E7%A8%8B%E5%B9%B6%E5%8F%91/
前言 最近在处理大数据相关的东西，数据动辄上百万，还不能用 GPU 加速，于是开始动起了多进程的念头。众所周知，Python 的多线程是假的，不过好在开发者老大还是给我们留了一个活路，也就是进程池。这个方法的优点在于进程的并发细节完全不用我们操心，我们只需要把并发的任务仍到进程池里就好了。
使用Github创建自己的小博客 懒人攻略 只有四步： 找到自己喜欢的别人的博客的Github地址，一般为username.github.io结尾。 Fork一份对方的源码，之后把仓库名改为YourGithubName.github.io 在_config.yaml中更改个人信息，同时把_posts中的文章都删了，注意别人的文章格式，之后仿照对方的格式写即可。 给你Fork的原作者写封邮件表达感谢！说不定就这么勾搭了一个大佬也不一定呢。
Tobias的小粉丝在此 序言 最近迷上了吉他，当然不是指那种一周速成的把妹弹唱啦。为了防止大家对吉他有一种特别简单，把妹专用道具的奇怪印象。特别提一个小知识，古典吉他在世界公认的十大难学的乐器中排第三，顺便一提，钢琴排第五。
简介 Seaborn 是一个数据可视化的库，主要用来生成热力图的，详情查看它的官网。这个工具一定要混合 matplotlib 来使用，我们在做好图之后还是必须要用 plt.show 才能展示图片，同时图片的布局也是靠 matplotlib。
https://vdeamov.github.io/linux/2018/12/03/SSH%E7%9A%84%E4%BD%BF%E7%94%A8/
用自己想用的用户名登陆 在~/.ssh中创建一个文件config 在里面输入 Host * User root 重启终端即可
BaiduPCS-Go的使用 Why BaiduPCS-Go BaiduPCS-Go是一个用Go语言编的命令行版的百度网盘，我们可以类比mas和Appstore的关系。那么为什么要用这样一个安装比较麻烦，还要记命令行的百度网盘的替代品，直接用百度网盘客户端不好么？ 这还真的是不好，百度网盘在mac下是一个十足的阉割版，最常用的功能中，Mac版缺失了以下几种功能： 没有分享功能：mac下的客户端的分享功能居然是需要通过浏览器打开，太不优雅了。 没有离线下载任务：直接导致不能下载磁力链接。
前言 有时候我们需要测试一个小功能，懒人如我完全不愿意新建一个python文件去测试，但是默认的python交互模式下没有代码补全就很恼火，今天就把它解决了。 步骤 首先在 HOME 目录下新建一个叫做 pythonstartup 的文件。 touch /.pythonstartup 接下来在里面输入如下内容： <pre name="code" class="python">import rlcompleter import readline import atexit import os # http://stackoverflow.com/questions/7116038/python-tab-completion-mac-osx-10-7-lion if 'libedit' in readline.doc: readline.parse_and_bind('bind ^I rl_complete') else: readline.parse_and_bind('tab: complete') histfile = os.path.join(os.environ['HOME'], '.pyhist') try: readline.read_history_file(histfile) except IOError: pass atexit.register(readline.write_history_file, histfile) del readline, rlcompleter, histfile, os 最后把它添加到环境变量中，zsh 在 zshrc 中，bash 在 bash_profile 中。 echo 'export PYTHONSTARTUP=/.pythonstartup' >> /.zshrc # for oh my zsh echo 'export PYTHONSTARTUP=/.pythonstartup' >> ~/.bash_profile # for bash 参考文献 CSDN中 jorrell 博主的 交互模式下python自动补全
聚类算法（上） 聚类算法很多，所以和讲回归算法一样，分成了上下，上中主要讲了传统的K-Means算法以及其相应的优化算法入K-Means++，K-Means||和Canopy等。下中主要讲了另外两种的思路的聚类算法，即层次聚类和密度聚类。 什么是聚类 聚类算就是怼大量未知标注的数据集，按照数据内部存在的数据特征将数据集划分为多个不同的类别，使类别内的数据比较相似，类别之间的数据相似度比较小，属于无监督学习。 从定义就可以看出，聚类算法的关键在于计算样本之间的相似度，也称为样本间的距离。 相似度/距离计算公式 说到聚类算法，那肯定核心就是计算距离的公式了，目前常用的有以下几种。 闵可夫斯基距离（Minkowski）：公式2.1
《滚雪球》 - 爱丽丝·查理芒格 读书笔记 在巴菲特看来，真正富有的人生应该是这样的：做一份自己喜欢的工作，找到兴趣相投的朋友。只要能做到这些，你的人生也一样是成功的。
https://vdeamov.github.io/nlp/2018/10/23/CS224n_note_01-introduction/
CS224n笔记01 自然语言处理与深度学习简介 简单声明 本笔记为 CS224n 课程在学习过程中留下的笔记。整体风格以简洁为主，尽量去掉不必要的背景知识说明，只留下个人觉得最重要的内容以供日后参考回忆。其中部分内容为了巩固英语，可能会因为方便采用英文记录。
Logistic回归&SoftMax回归 序言 之前的文章中我们介绍了普通最小二乘线性回归算法，并进行了较为详细的推导，并通过分析其过拟合的问题，推导出了另外三个算法，Ridge回归算法，LASSO回归算法，以及弹性网络。并简要的分析了他们的优缺点。今天我们来接着介绍算法。为什么说是算法而不是回归算法呢，是因为在研究了逻辑回归和Softmax回归算法以后，惊讶的发现这两个算法是分类算法，所以这个回归算法下的说法就不是很严谨了。
贝叶斯算法 知识前置 这个章节的机器学习，其实更像是一种概率论的学习，同时这也是机器学习和数据分析中非常重要的一环。如果学习遇到了困难非常推荐参考张宇考研概率论部分的内容。同时这一章的算法，也是在文本分类中使用的比较多的。 名词解释：
集成学习 集成学习一句话版本 集成学习的**是将若干个学习器（分类器&回归器）组合之后产生新的学习器。 在学习这一章节中，老师提到了这个说法，我觉得非常言简意赅就直接引用了过来。集成学习算法的成功在于保证若分类器（错误率略小于0.5，即勉强比瞎猜好一点）的多样性，且集成不稳定的算法也能得到一种比较明显的提升。 注：深度学习其实也可以看作是一种集成学习
https://vdeamov.github.io/tensorflow/2018/12/10/Tensorflow%E8%BF%9B%E9%98%B6%E4%B9%8BEstimator/
之前的入门部分的 Estimator介绍了如何使用预训练模型，对整体有了一个直观的感受感受。在这部分中着重讲解如何创建自定义 Estimator。
React
A declarative, efficient, and flexible JavaScript library for building user interfaces.
🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.
Typescript
TypeScript is a superset of JavaScript that compiles to clean JavaScript output.
An Open Source Machine Learning Framework for Everyone
Django
The Web framework for perfectionists with deadlines.
Laravel
A PHP framework for web artisans
Bring data to life with SVG, Canvas and HTML. 📊📈🎉
JavaScript (JS) is a lightweight interpreted programming language with first-class functions.
Some thing interesting about web. New door for the world.
A server is a program made to process requests and deliver data to clients.
Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.
Some thing interesting about visualization, use data art
Some thing interesting about game, make everyone happy.
Facebook
We are working to build community through open source technology. NB: members must have two-factor auth.
Microsoft
Open source projects and samples from Microsoft.
Google
Google ❤️ Open Source for everyone.
Alibaba
Alibaba Open Source for everyone
D3
Data-Driven Documents codes.
Tencent
China tencent open source team.
