longhuohuo Goto Github PK

alimusic

天池阿里音乐流行趋势预测大赛，项目中涵盖了从初赛到复赛的全部核心代码。复赛的聚合数据可以在百度网盘下载，更详细的思路介绍欢迎访问我的博客。

aso

多牛Spark平台开发的ASO项目 ASO的数据是苹果手机用户在AppStore上的排行列表，根据爬虫爬取数据，存储到Kafka接着到Hbase，最后通过Spark计算，结果存储到Hbase

backquarter

易观开源大数据互联网百亿级记录互传Backquarter项目

baiducrawler

百度爬虫+代理

bi-analysis

SpringMVC+mybaits+Maven+anguljs+html5+mysql+nodejs+BO报表 集成的大数据地产分析项目

bigdata

BigData Project 大数据项目由浅入深

bigtable-sql

分布式大数据SQL查询可视化界面！ 大数据版的navcat

canalx

基于 `Canal` 的数据感知服务框架. 可用于围绕数据库`Mysql`进行数据相关的各式业务开发, 并建立各式各样的服务平台.

captuocrtoy

A tool to capture screenshot and recognize text by online ocr apis

catcher

java性能采集工具

cboard

An easy to use, self-service open BI reporting and BI dashboard platform.

china_area_mysql

**5级行政区域mysql库

cobar

a proxy for sharding databases and tables

corgi

Corgi 柯基：MySQL 到 Hive 批量数据集成服务

crawler

python crawler

crawler-1

python爬虫项目集合

crawler-2

爬虫通用的程序库，数据处理程序，辅助工具，以及一些做外包的项目

dataplateform

数据平台(DataPlateform)，最初的设计想法是：当今大数据横行，我们也不能落后。所以就想着写一个这样的平台系统。此项目集爬虫、搜索、Hadoop、Dwr推送、Quartz定时任务于一体的平台，其目的是想通过抓取互联网数据，通过大数据推测人或者某一事物的下一行为。Coding....

datax-migration

Yxt (Yunxuetang) Full Database Migration Tool based on Alibaba DataX 3.0

datax-web

datax web

datax_tools

distribute_crawler

使用scrapy,redis, mongodb,graphite实现的一个分布式网络爬虫,底层存储mongodb集群,分布式使用redis实现,爬虫状态显示使用graphite实现

dmhwcf

数据挖掘大作业基于协同过滤推荐算法的电影推荐

faker

用于生成假数据的库，支持多种语言

flink-runtime-web

flink-training-exercises

flinkexperiments

Experiments with Apache Flink.

flinkstreamsql

基于开源的flink，对其实时sql进行扩展；主要实现了流与维表的join，支持原生flink SQL所有的语法

flinkx

基于flink的分布式同步工具

fun_crawler

Crawl some picture for fun