vgbhfive / vgbhfive.github.io

Hi there 👋

vgbhfive.github.io's Issues

Hadoop-Spark | Vgbhfive's Blog

https://blog.vgbhfive.cn/Hadoop-Spark/

引入Spark 是用于处理大数据的集群计算框架 ，与其他大多数数据处理框架不同之处在于 Spark 没有以 MapReduce 作为执行引擎，而是使用它自己的分布式运行环境在集群上执行工作。另外 Spark 与 Hadoop 又紧密集成，Spark 可以在 YARN 上运行，并支持 Hadoop 文件格式及其存储后端（例如 HDFS）。 Spark 最突出的表现在于其能将 作业与作业之间的大规模的

Moto-摩旅日记1 | Vgbhfive's Blog

https://blog.vgbhfive.cn/Moto-%E6%91%A9%E6%97%85%E6%97%A5%E8%AE%B01/

回忆记得第一次出去骑车还是在大二的时候，记得是路线从学校去兴平，全程 75 公里，下午四点钟多到的酒店，酒店的那个阿姨人很好，她还允许我把我的自行车带到楼梯间锁起来，短暂休息后就去了杨贵妃墓，在市区里吃了烧烤和鸡蛋醪糟，第二天早早骑车又回了学校。现在回想起来，当时简直就是无所畏惧，一个人带着手机骑着山地车就出发了🤦‍♂️ 多图警告！！！

量化投资 | Vgbhfive's Blog

https://blog.vgbhfive.cn/%E9%87%8F%E5%8C%96%E6%8A%95%E8%B5%84/

概述量化是指一种投资交易策略，利用统计学、数学、计算机、人工智能等方法取代传统人工做出决策，通过模型来实现资产交易进而构建投资组合。即利用计算机技术和数学模型来实现投资策略的过程。 主观投资与量化投资的对比： 主观投资 量化投资 基于基金经理的判断 基于模型运算的客观结果 基金经理对宏观环境、行业、公司的研究，预测未来趋势 核心在于利用计算机技术在海量数据中寻找到投资规律 注重

Hadoop-HDFS | Vgbhfive's Blog

https://blog.vgbhfive.cn/Hadoop-HDFS/#more

HDFS当数据集的大小超过一台计算机的存储上限时，就有必要对数据进行分区然后存储到其他的计算机上。管理网络中跨多台计算机存储的文件系统被称为分布式文件系统（distributed filesystem），该架构于网络之上，势必会引起网络编程的复杂性，因此分布式文件系统比普通磁盘文件系统更为复杂。Hadoop 自带一个称为 HDFS 的分布式文件系统，也是 Hadoop 的旗舰级文件系统，即 Had

about | Vgbhfive's Blog

https://blog.vgbhfive.cn/about/

关于我90 后程序员一枚，坐标北京，平时喜欢捣鼓一些其他的东西，比如摩托、骑行、足球等。 个人技术栈 Vue Java、Golang、Python Redis、MySQL、MongoDB、Neo4j Spring Boot、Spring Cloud、Dubbo、Docker、RabbitMQ、Prometheus、Apollo Hadoop、Spark、Hive

北京同仁医院验光攻略 | Vgbhfive's Blog

https://blog.vgbhfive.cn/%E5%8C%97%E4%BA%AC%E5%90%8C%E4%BB%81%E5%8C%BB%E9%99%A2%E9%AA%8C%E5%85%89%E6%94%BB%E7%95%A5/

前要简介 首都医科大学附属北京同仁医院始建于 1886 年，是一所以眼科学、耳鼻咽喉科学为国家重点学科的大型综合三甲医院，对于眼科相关绝对是权威专业。 一般的眼镜店对于只验光不配镜的顾客有多多少少的抵触。 镜片和镜框需要单独在网上购买，接着找眼镜店帮忙组装，可以最大化保证钱花在刀刃上。

Hadoop-Hive | Vgbhfive's Blog

https://blog.vgbhfive.cn/Hadoop-hive/

基础Hive 是一个构建在 Hadoop 之上的数据仓库框架，其设计目的在于让精通 SQL 但编程技能较弱的运营人员能够对存放在 HDFS 中的大规模数据集执行查询。但是由于其底层依赖的 Hadoop 和 HDFS 设计本身约束和局限性，限制 Hive 不支持记录级别的更新、插入或者删除操作，不过可以通过查询生成新表或将查询结果导入文件中来实现。同时由于 MapReduce 任务的启动过程需要消耗

to_2023-05-15 | Vgbhfive's Blog

https://blog.vgbhfive.cn/to-2023-05-15/

今天是 2023 年 5 月 15 日，距离我第一次来北京工作的时间刚好跨过了整整三年，关于这个时间我也是在跟朋友的闲聊中才发现原来我已经来北京北漂三年了。

tags | Vgbhfive's Blog

https://blog.vgbhfive.cn/tags/

ML-决策树 | Vgbhfive's Blog

https://blog.vgbhfive.cn/ML-%E5%86%B3%E7%AD%96%E6%A0%91/

概要决策树（decision tree）是一种基本的分类和回归方法。其主要呈现为树状结构，在分类问题中，表示基于特征对实例进行分类的过程，可以被认为是 if-then 的规则集合，也可以被认为是定义在特征空间与类空间上的条件概率分布。 其优点主要有分类速度快、模型具有可读性，在学习时利用训练数据根据损失函数最小化的原则建立决策树模型；而在预测时对新的数据利用决策树模型进行分类。 决策树模型主要包含

机器学习实践-Pima 数据集 | Vgbhfive's Blog

https://blog.vgbhfive.cn/%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0%E5%AE%9E%E8%B7%B5-Pima-%E6%95%B0%E6%8D%AE%E9%9B%86/?

数据简介该数据集最初来自糖尿病/消化/肾脏疾病研究所，此数据集的目标是基于数据集中包含的某些身体指标来诊断性的预测患者是否患有糖尿病。数据集由多个医学指标和一个目标变量 Outcome 组成，医学指标包含患者的怀孕次数、BMI 指数、胰岛素水平、年龄、血压等。

熊与兔的随手记 | Vgbhfive's Blog

https://blog.vgbhfive.cn/%E7%86%8A%E4%B8%8E%E5%85%94%E7%9A%84%E9%9A%8F%E6%89%8B%E8%AE%B0/

。。。

Selenium-使用教程 | Vgbhfive's Blog

https://blog.vgbhfive.cn/Selenium-%E4%BD%BF%E7%94%A8%E6%95%99%E7%A8%8B/

简介Selenium 最初是一个用于网站的自动化测试工具，支持各种 Chrome、Firefox、Safari 等主流浏览器，同时也支持 phantomJS 无界面浏览器。不过其更通常的使用在于爬虫中使用，其主要是用于解决 requests 无法直接执行 JavaScript 代码的问题，不过用于解析 Dom 元素更有其妙用之处。

Hadoop-MapReduce | Vgbhfive's Blog

https://blog.vgbhfive.cn/Hadoop-MapReduce/

基础MapReduce 是一种用于数据处理的编程模型，其本质是并行运行，因此可以将大规模的数据分析任务分发给任何一个拥有足够多机器的数据中心，当然其优势也是处理大规模数据集。 MapReduce 任务过程分为两个处理阶段： map 阶段和 reduce 阶段。每个阶段都是以键值对作为输入和输出，其类型由开发者决定，当然 map 函数和 reduce 函数也是由开发者实现。

2023 低生产 PC 装机报告 | Vgbhfive's Blog

https://blog.vgbhfive.cn/2023-%E4%BD%8E%E7%94%9F%E4%BA%A7-PC-%E8%A3%85%E6%9C%BA%E6%8A%A5%E5%91%8A/?

配置列表CPU：Intel i5-12400 散片主板：微星 MAG B660 MORTAR WIFI DDR4内存：光威 天策系列 16G * 2 套条固态：宏基掠夺者 GM7000 PCIe4.0 NVMe电源：长城 650w 金牌全模散热：九州风神 玄冰 400V5（四热管）机箱：先马 平头哥 M2（五风扇位，侧头玻璃）系统：Windows 10 专业版

MySQL-Could not find first log file name in binary log index file | Vgbhfive's Blog

https://blog.vgbhfive.cn/MySQL-Could-not-find-first-log-file-name-in-binary-log-index-file/

复现在之前的博客中说明过，我负责的业务有数据同步的需求，是从 MySQL 实时同步数据到 ClickHouse，为此我们使用了一个工具 clickhouse-mysql-data-reader，该工具的底层是通过监听 MySQL 的 bin log 来实现实时同步数据。 就在今早，数据同步不知为何停止了，当发现问题重新拉起同步任务时，就发现同步脚本出现了异常： 1Could not find fi

MathJax语法指南 | Vgbhfive's Blog

https://blog.vgbhfive.cn/MathJax%E8%AF%AD%E6%B3%95%E6%8C%87%E5%8D%97/

简介MathJax 是一个 JavaScript 库，可以让你直接用 Latex 语法来写复杂数学公式，使用十分方便。

Pictures | Vgbhfive's Blog

https://blog.vgbhfive.cn/pictures/

Linux-nc使用指南 | Vgbhfive's Blog

https://blog.vgbhfive.cn/Linux-nc%E4%BD%BF%E7%94%A8%E6%8C%87%E5%8D%97/

简介NetCat 是一款调试 TCP/UDP 网络连接的利器，被称作是网络调试的瑞士军刀，可见其功能强大。

ML-逻辑回归 | Vgbhfive's Blog

https://blog.vgbhfive.cn/ML-%E9%80%BB%E8%BE%91%E5%9B%9E%E5%BD%92/

基础逻辑回归（logistic regression）是统计学习中的经典分类方法，虽然被称为回归，但其实是个分类模型。其本质是假设某个数据服从逻辑分布，就可以使用极大似然法估计出其线性回归的参数，之后再使用 Sigmoid 逻辑函数对其分类。面试的时候千万不要说你很了解 LR，因为细节真的太多了😂

Lombok-constructor is already defined | Vgbhfive's Blog

https://blog.vgbhfive.cn/Lombok-constructor-is-already-defined/?

引入今天工作的时候写了这么一段代码： 12345678@Getter@Setter@ToString@NoArgsConstructor@AllArgsConstructorpublic class ObjectA { }

Docker install jupyter-notebook | Vgbhfive's Blog

https://blog.vgbhfive.cn/Docker-install-jupyter-notebook/

简介Jupyter Notebook 是一个开源的 Web 应用程序，允许用户创建和共享包含代码、方程式、可视化和文本的文档。主要用于 数据清理和转换、数值模拟、统计建模、数据可视化、机器学习 等等。具有以下优势： 可选择语言：支持超过 40 种编程语言，包括 Python、R、Julia、Scala 等。 分享笔记本：可以使用电子邮件、Dropbox、GitHub 和 Jupyter Note

ML-支持向量机 | Vgbhfive's Blog

https://blog.vgbhfive.cn/ML-%E6%94%AF%E6%8C%81%E5%90%91%E9%87%8F%E6%9C%BA/

小故事每个人小时候最讨厌的事情就是吃药了，但不幸的是有一天你得了感冒，妈妈给你买了药，你拿到药后打开了包装纸。在药包里有两种药片，一种是白色的另一种是黑色的，白色的看起来比较甜，而黑色的一看就很苦；因此你决定先吃白色的药片，那么如何一把抓住所有的药片呢？你可以找一个勺子这么把药划分出来 那么如果药包里的药片是这样排布的呢？ 此时你心里想着终于可以祭出我的绝世神功了！哼哈…充满内力的手一拍桌子，药片

MySQL-mysqldump warning GTID | Vgbhfive's Blog

https://blog.vgbhfive.cn/MySQL-mysqldump-warning-GTID/

复现工作时需要拉一下测试环境的数据到开发环境，所以就是 mysqldump 老哥出场了… 123# mysqldump -h localhost -u root -p --tables test_table --where="str='str1'" > test_table_data.sqlEnter password:Warning: A parti