myexp's Issues
Demo
实际业务场景
TODO
- 场景:用户视角
- 目标
- APP API兼容
- 应用->品类->厂牌->系列->PN(应用:地点,商品分类:餐馆,PN:店面)
- 关键字
围绕应用的生态,相关的放一起,几扇门随人走。e.g. 充电桩->IGBT选型
场景:
角色,事情,目的。
场景模型化:
三维定位地图
人+做事(意图下)=(想要)结果
刻画:
人(应用>器件>品牌),意图(应用>期间>品牌>PN 组合),结果(关联度高的内容,合理地展示)
目标:
- 构建三维数据模型地图(维护)
- 内容地图定位
- 会员地图定位
- 可扩展的搜索引擎
- 按照用户体验好的结果展示
方案:
- 刻画收集用户定位
- 整理搜索意图列表及优先级
- 内容定位(打标签)
- 设计可扩展搜索技术架构
- 分期落地产品
内容需求+呈现需求
版本目标
- 支持web优化改版
- 识别场景
- 理解用户在相应场景下的目的性,所希望的内容
- 支持未来场景调整,如权重。
搜索框架
搜索流程
- 每一字段不同分词规则,权重分配,过滤规则(建索引,查询,皆可)
- 针对每个字段可以多次单独搜索,以完成字段内权重,过滤功能
需求总览
系统模型
表达辅助模块
意图识别模块
搜索执行模块
索引建立模块
数据模型
场景数据
详细设计-多字段
DIT/PM策略/出库数据计划
TODO
- 和小鸥了解情况
- CTBS权限
- 数据模型
- COP项目信息
- 客户与应用信息
理解
- 数据管理:1 类别树的建立,维护(标签体系);2 类别树的应用(合理打标签)
GitLab 备份和恢复
GitLab HA
Hortonworks Setup
Hortonwork
jdbc_drivers: com.mysql.jdbc.Driver
reason
/var/lib/ambari-agent/cache/common-services/SQOOP/1.4.4.2.0/package/scripts/params_linux.py
Problem
Could not find or load main class org.apache.sqoop.Sqoop
- Reason: http://blog.csdn.net/seven_zhao/article/details/44199373
- https://repo1.maven.org/maven2/org/apache/sqoop/sqoop/1.4.6/
*-hadoop200 for HDP-2.4.2.0
23 for 0.23, 100 for 1., 200 for 2.
阿里数加实验
GitLab 文档
Business Logic
阿里数加测试
数据库跨库问题
PN 方案
- 原型
相关书籍
机器学习
-
统计学习方法
提纲
-
PRML pattern recognition and machine learning
与李航的对照看
-
公开课:andrew ng
-
机器学习时战
python
-
博客 mit zhang chiyuan
推荐PRD
Outline of Recom Engine PRD
资讯资料,编辑阶段检查拆词,加入关键词库
Maven不同环境不同配置
Maven Mechanism
pom.xml
增加<profiles>
区域
<profiles>
<profile>
<id>test</id>
<properties>
<env>test</env><!--相当于定义一个变量 供下面使用-->
<myName>张三</myName><!--使用一个properties文件中未定义,但是其他地方会取值的变量-->
</properties>
<activation><!--默认激活-->
<activeByDefault>true</activeByDefault>
</activation>
</profile>
<profile>
<id>dev</id>
<properties>
<env>dev</env>
<myName>李四</myName>
</properties>
<activation><!--默认激活-->
<activeByDefault>false</activeByDefault>
</activation>
</profile>
<profile>
<id>product</id>
<properties>
<env>product</env>
</properties>
</profile>
</profiles>
Maven Command
mvn compile -P product
Ref
Gitlab工作流程
项目迁移到GitLab
二、Setup Steps
联网环境
- 安装Git-2.10
- mercurial-3.9
- SourceTree
三、工作场景
流程
- http://mp.weixin.qq.com/s?__biz=MjM5NzM0MjcyMQ==&mid=2650067173&idx=1&sn=596fa4c3d2842f163349a4cf7409874f&scene=7#wechat_redirect
- http://mp.weixin.qq.com/s?__biz=MzA3NjYxOTA0MQ==&mid=402561575&idx=1&sn=23a6e0cfde0606fd0048ccef88ae6625&scene=7#wechat_redirect
- http://www.ruanyifeng.com/blog/2015/08/git-use-process.html
处理conflict
四、界面工具
五、必要文件及结构
- .gitignore
六、Reference
GitLab 部署
Website
gitlab.repo
清华源
[gitlab-ce]
name=gitlab-ce
baseurl=http://mirrors.tuna.tsinghua.edu.cn/gitlab-ce/yum/el7
repo_gpgcheck=0
gpgcheck=0
enabled=1
gpgkey=https://packages.gitlab.com/gpg.key
Config Roadmap
1. 基本
/etc/gitlab/gitlab.rb
1.1 配置点
- external_url: url:port
显示clone地址等地方的URL,新监听的端口
- git_data_dirs
代码位置
1.2 Email功能
/etc/gitlab/gitlab.rb
gitlab_rails['smtp_enable'] = true
gitlab_rails['smtp_address'] = "mbs01.sekorm.com"
gitlab_rails['smtp_port'] = 25
gitlab_rails['smtp_user_name'] = "[email protected]"
gitlab_rails['smtp_password'] = "xxxx"
gitlab_rails['smtp_domain'] = "sekorm.com"
gitlab_rails['smtp_authentication'] = "login"
gitlab_rails['smtp_enable_starttls_auto'] = true
gitlab_rails['smtp_openssl_verify_mode'] = "none"
gitlab_rails['gitlab_email_from'] = "[email protected]"
gitlab_rails['gitlab_email_reply_to'] = "[email protected]"
user["git_user_email"] = "[email protected]"
Debug
/var/log/gitlab/gitlab-rails
tail -f sidekiq.log
Ref:
1.3 80端口冲突
原因:Nginx默认使用了80端口。
解决办法(以下2选1):
- 为了使Nginx与Apache能够共存,并且为了简化GitLab的URL地址,Nginx端口保持不变,修改Apache的端口为4040。这样就可以直接用使用ip访问Gitlab。而禅道则可以使用4040端口进行访问,像这样:xxx.xx.xxx.xx:4040/zentao。具体修改的地方在/etc/httpd/conf/httpd.conf这个文件中,找到Listen 80这一句并将之注释掉,在底下添加一句Listen 4040,保存后执行
service httpd restart
重启apache服务即可。- external_url: url:81
1.4 8080端口冲突
原因:由于unicorn默认使用的是8080端口。
解决办法:打开/etc/gitlab/gitlab.rb,打开# unicorn['port'] = 8080的注释,将8080修改为9090,保存后运行
sudo gitlab-ctl reconfigure
即可。
URL:Port
external_url
2. HA
2.1 元数据存储
2.2 转移/恢复
- 转移
behind代码拆分办法
GitLab使用
推荐需求
TODO
- 例子
要点
- 哪些内容是需要推荐的(引导用户深入,or挖掘潜在机会)
什么是好的推荐引擎
用户
- 过滤无用(不关心)信息、不那么关心的内容,发现passive interests:(目的性不强:首页,列表页)
- 资讯-行业热点(新闻类)
- 资讯-领域新闻(新方案,新器件,新厂牌)
- 资料-优选方案
- 资料-选型指南
- 资料-(相关资料更新等实时性消息)
- 减少相关资料搜寻过程(目的性较强:详情页,搜索结果页)
- (资料类型->目的性->不同推荐内容)
平台
核心:增加用户黏性,产生交易机会
- 推荐竞品,可替代品
- 精准营销
服务哪些人
- 角色:硬件工程师(高管,设计,研发),采购
- 阶段:知,选,研,用
- 领域:应用地图
- 内容的目标人群?
有哪些内容
- 行业热点(知)
- 营销活动内容 (知)
- 种类:资讯,资料,问答,活动(以及二级细分类)
- 内容产生的目的性?
- 资讯:知
- 资料:选,研,用
- 问答:知,选,研
- 活动:知
哪里需要推荐
- 首页()
- 列表()
- 内容详情()
- 搜索结果()
- 消息推送(需要刺激性)
推荐范围
- 专家:照顾宽度与深度,认为你该看的
- 个性: 行为表现的喜欢
- 营销:运营强行呈现
推荐角度
- 文章相似度。
- 人与文章匹配度。
- 人与人相似度,推未读的。
搜索V3.0讨论
会议记录
用户画像
交付物:**Issue**
every comment is a enrichment of original idea
下载邮件推送运营内容
- 注册邮件1,邀请VIP
- 注册邮件2,一键激活VIP
- VIP邮箱验证
- VIP认证成功邮箱
- 下载
- 邮件分享
- 询价
- 修改邮箱,邮箱认证
推荐细则
服务器运行
OA 申请
搜索V3.0引擎调试
web搜索结果页优化与V3.0引擎结合规则
搜索结果页优化的橱窗需要一些从V3.0搜索引擎拿出结果的细节规则
人的角色与定位
Tez引擎使用方法
阿里数加推荐实验
Sqoop 1.4.6 与 HBase 1.2.1 兼容问题
内容组织
- 资讯资料用辅助模块
Jenkins 配置
搜索数据模型现状
现状及原理
模型字段
http://172.16.1.114/doc/bowen_bao/blog_category/SearchEngine_blog_url/
商品分类,市场应用,厂牌PN,关键词 由ID循环逻辑取得
建索引原理
- 统一模型
- 各字段配置(拆词,权重)
- 共同作用
线上线下PN同步,差别7000+
PRD及原型解释修改
- PN更新自动覆盖
- 服务商PN模型增加厂牌名
搜索计划
推荐业务现状
仓库现存问题-拆包散装
Gitlab-CI
Gitlab文档协作
Flume-问题集锦
2016-12-07 梧桐山活动
- 张兆年
- 王晨
- 郑豫娟
- 曾金莹
- 黄智
- 林恒
melexis 方案 表现不好!!
搜索需求
-
方案资料前放
-
意图识别 包含关系
ADAS方案->产品场景
-
搜索相关统计
- 词频统计
GitLab 运维机制
1. 权限
1.1 管理员
Default
Username: root
Password: 5iveL!fe(第一次登录修改)
1.2 帐号分配
两种形式:自主注册和统一分配。后者需要邮箱系统(因为密码通过邮箱发送)
1.3 帐号权限
针对每个项目:Master, Developer, Reporter, Guest
PRD文档搜索V1.0,V2.0
搜索对业务支持现状
Lucene
场景
- 首页
- 资讯/资料列表页
- 搜索补全
- 自动填充
- 资讯详情页
- 搜索补全
- 多段自动补充
- 资料详情页
- 搜索补全
- 自动填充
- 搜索一般结果页
- 固定填充搜索词
- 搜索PN结果页
- 固定填充PN
SQL
内容
- PN
场景
- 元件供应页(数据库搜索)
- 搜索补全
Recommend Projects
-
React
A declarative, efficient, and flexible JavaScript library for building user interfaces.
-
Vue.js
🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.
-
Typescript
TypeScript is a superset of JavaScript that compiles to clean JavaScript output.
-
TensorFlow
An Open Source Machine Learning Framework for Everyone
-
Django
The Web framework for perfectionists with deadlines.
-
Laravel
A PHP framework for web artisans
-
D3
Bring data to life with SVG, Canvas and HTML. 📊📈🎉
-
Recommend Topics
-
javascript
JavaScript (JS) is a lightweight interpreted programming language with first-class functions.
-
web
Some thing interesting about web. New door for the world.
-
server
A server is a program made to process requests and deliver data to clients.
-
Machine learning
Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.
-
Visualization
Some thing interesting about visualization, use data art
-
Game
Some thing interesting about game, make everyone happy.
Recommend Org
-
Facebook
We are working to build community through open source technology. NB: members must have two-factor auth.
-
Microsoft
Open source projects and samples from Microsoft.
-
Google
Google ❤️ Open Source for everyone.
-
Alibaba
Alibaba Open Source for everyone
-
D3
Data-Driven Documents codes.
-
Tencent
China tencent open source team.