neilchenxie / myexp Goto Github PK

• 资讯资料用辅助模块

解决

与 #73 一同考虑

原因

普通场景 标题细粒度拆词( #73 ), 导致melexis拆成了melexis|melexi|melex|le|

项目迁移到GitLab

二、Setup Steps

联网环境

1. 安装Git-2.10
2. mercurial-3.9
3. SourceTree

三、工作场景

流程

1. http://mp.weixin.qq.com/s?__biz=MjM5NzM0MjcyMQ==&mid=2650067173&idx=1&sn=596fa4c3d2842f163349a4cf7409874f&scene=7#wechat_redirect
2. http://mp.weixin.qq.com/s?__biz=MzA3NjYxOTA0MQ==&mid=402561575&idx=1&sn=23a6e0cfde0606fd0048ccef88ae6625&scene=7#wechat_redirect
3. http://www.ruanyifeng.com/blog/2015/08/git-use-process.html

处理conflict

http://blog.csdn.net/u010695420/article/details/51786506

四、界面工具

五、必要文件及结构

• .gitignore

六、Reference

http://www.restran.net/2016/02/23/git-and-gitlab-guide/

OA 申请

现状及原理

模型字段

http://172.16.1.114/doc/bowen_bao/blog_category/SearchEngine_blog_url/

商品分类，市场应用，厂牌PN，关键词 由ID循环逻辑取得

建索引原理

• 统一模型
• 各字段配置（拆词，权重）
• 共同作用

Lucene

场景

• 首页
• 资讯/资料列表页
  • 搜索补全
  • 自动填充
• 资讯详情页
  • 搜索补全
  • 多段自动补充
• 资料详情页
  • 搜索补全
  • 自动填充
• 搜索一般结果页
  • 固定填充搜索词
• 搜索PN结果页
  • 固定填充PN

SQL

内容

• PN

场景

• 元件供应页（数据库搜索）
  • 搜索补全

搜索结果页优化的橱窗需要一些从V3.0搜索引擎拿出结果的细节规则

1. 权限

1.1 管理员

Default

Username: root

Password: 5iveL!fe(第一次登录修改）

1.2 帐号分配

两种形式：自主注册和统一分配。后者需要邮箱系统（因为密码通过邮箱发送）

1.3 帐号权限

针对每个项目：Master, Developer, Reporter, Guest

详细权限

会议记录

• Java SDK
• ODPS SQL
• ODPS Sqoop

TODO

• 例子

要点

• 哪些内容是需要推荐的（引导用户深入，or挖掘潜在机会）

什么是好的推荐引擎

用户

• 过滤无用（不关心）信息、不那么关心的内容，发现passive interests：（目的性不强：首页，列表页）
  • 资讯-行业热点（新闻类）
  • 资讯-领域新闻（新方案，新器件，新厂牌）
  • 资料-优选方案
  • 资料-选型指南
  • 资料-（相关资料更新等实时性消息）
• 减少相关资料搜寻过程（目的性较强：详情页，搜索结果页）
  • （资料类型->目的性->不同推荐内容）

平台

核心：增加用户黏性，产生交易机会

• 推荐竞品，可替代品
• 精准营销

服务哪些人

• 角色：硬件工程师（高管，设计，研发），采购
• 阶段：知，选，研，用
• 领域：应用地图
• 内容的目标人群？

有哪些内容

• 行业热点（知）
• 营销活动内容 （知）
• 种类：资讯，资料，问答，活动（以及二级细分类）
• 内容产生的目的性？
  • 资讯：知
  • 资料：选，研，用
  • 问答：知，选，研
  • 活动：知

哪里需要推荐

• 首页（）
• 列表（）
• 内容详情（）
• 搜索结果（）
• 消息推送（需要刺激性）

推荐范围

• 专家：照顾宽度与深度，认为你该看的
• 个性： 行为表现的喜欢
• 营销：运营强行呈现

推荐角度

• 文章相似度。
• 人与文章匹配度。
• 人与人相似度，推未读的。

• 注册邮件1，邀请VIP
• 注册邮件2，一键激活VIP
• VIP邮箱验证
• VIP认证成功邮箱
• 下载
• 邮件分享
• 询价
• 修改邮箱，邮箱认证

https://community.hortonworks.com/articles/4091/hbase-client-application-best-practices.html

https://www.dropbox.com/s/v1x3djtlp1qg204/HBase%201.0%20API%20Changes%20-%20Meetup%2010_15_2014.pdf?dl=0

Maven Mechanism

pom.xml

增加<profiles>区域

<profiles>
        <profile>
            <id>test</id>
            <properties>
                <env>test</env><!--相当于定义一个变量 供下面使用-->
                <myName>张三</myName><!--使用一个properties文件中未定义，但是其他地方会取值的变量-->
            </properties>
            <activation><!--默认激活-->
                <activeByDefault>true</activeByDefault>
            </activation>
        </profile>
        <profile>
            <id>dev</id>
            <properties>
                <env>dev</env>
                <myName>李四</myName>
            </properties>
            <activation><!--默认激活-->
                <activeByDefault>false</activeByDefault>
            </activation>
        </profile>
        <profile>
            <id>product</id>
            <properties>
                <env>product</env>
            </properties>
        </profile>
    </profiles>

Maven Command

mvn compile -P product

Ref

• cnblog

• PN更新自动覆盖
• 服务商PN模型增加厂牌名

Outline of Recom Engine PRD

• 原型

• 方案资料前放

• 意图识别 包含关系

  ADAS方案->产品场景

• 搜索相关统计

  • 词频统计

Website

• 官网
• 清华

gitlab.repo

清华源

[gitlab-ce]
name=gitlab-ce
baseurl=http://mirrors.tuna.tsinghua.edu.cn/gitlab-ce/yum/el7
repo_gpgcheck=0
gpgcheck=0
enabled=1
gpgkey=https://packages.gitlab.com/gpg.key

Config Roadmap

1. 基本

/etc/gitlab/gitlab.rb

1.1 配置点

• external_url: url:port

显示clone地址等地方的URL,新监听的端口

• git_data_dirs

代码位置

1.2 Email功能

/etc/gitlab/gitlab.rb

gitlab_rails['smtp_enable'] = true
gitlab_rails['smtp_address'] = "mbs01.sekorm.com"
gitlab_rails['smtp_port'] = 25
gitlab_rails['smtp_user_name'] = "[email protected]"
gitlab_rails['smtp_password'] = "xxxx"
gitlab_rails['smtp_domain'] = "sekorm.com"
gitlab_rails['smtp_authentication'] = "login"
gitlab_rails['smtp_enable_starttls_auto'] = true
gitlab_rails['smtp_openssl_verify_mode'] = "none"

gitlab_rails['gitlab_email_from'] = "[email protected]"
gitlab_rails['gitlab_email_reply_to'] = "[email protected]"
user["git_user_email"] = "[email protected]"

Debug

/var/log/gitlab/gitlab-rails

tail -f sidekiq.log

Ref:

• ruby-china
• postfix settings

1.3 80端口冲突

原因：Nginx默认使用了80端口。

解决办法(以下2选1)：

1. 为了使Nginx与Apache能够共存，并且为了简化GitLab的URL地址，Nginx端口保持不变，修改Apache的端口为4040。这样就可以直接用使用ip访问Gitlab。而禅道则可以使用4040端口进行访问，像这样：xxx.xx.xxx.xx:4040/zentao。具体修改的地方在/etc/httpd/conf/httpd.conf这个文件中，找到Listen 80这一句并将之注释掉，在底下添加一句Listen 4040，保存后执行service httpd restart重启apache服务即可。
2. external_url: url:81

1.4 8080端口冲突

原因：由于unicorn默认使用的是8080端口。

解决办法：打开/etc/gitlab/gitlab.rb,打开# unicorn['port'] = 8080的注释，将8080修改为9090，保存后运行sudo gitlab-ctl reconfigure即可。

URL:Port

external_url

change port-stackoverflow

2. HA

OSChina

2.1 元数据存储

2.2 转移/恢复

• 转移

gitlab论坛

• 张兆年
• 王晨
• 郑豫娟
• 曾金莹
• 黄智
• 林恒

TODO

• 和小鸥了解情况
• CTBS权限
• 数据模型
  • COP项目信息
  • 客户与应用信息

理解

• 数据管理：1 类别树的建立，维护（标签体系）；2 类别树的应用（合理打标签）

TODO

• 场景：用户视角
• 目标
• APP API兼容
• 应用->品类->厂牌->系列->PN（应用：地点，商品分类：餐馆，PN：店面）
• 关键字

围绕应用的生态，相关的放一起，几扇门随人走。e.g. 充电桩->IGBT选型

场景：

角色，事情，目的。

场景模型化：

三维定位地图
人+做事（意图下）=（想要）结果
刻画：
人（应用>器件>品牌），意图（应用>期间>品牌>PN 组合），结果（关联度高的内容，合理地展示）

目标：

• 构建三维数据模型地图（维护）
• 内容地图定位
• 会员地图定位
• 可扩展的搜索引擎
• 按照用户体验好的结果展示

方案：

• 刻画收集用户定位
• 整理搜索意图列表及优先级
• 内容定位（打标签）
• 设计可扩展搜索技术架构
• 分期落地产品

内容需求+呈现需求

版本目标

• 支持web优化改版
• 识别场景
• 理解用户在相应场景下的目的性，所希望的内容
• 支持未来场景调整，如权重。

搜索框架

搜索流程

• 每一字段不同分词规则，权重分配，过滤规则（建索引，查询，皆可）
• 针对每个字段可以多次单独搜索，以完成字段内权重，过滤功能

需求总览

系统模型

表达辅助模块

意图识别模块

搜索执行模块

索引建立模块

数据模型

场景数据

详细设计-多字段

机器学习

• 统计学习方法

  提纲

• PRML pattern recognition and machine learning

  与李航的对照看

• 公开课：andrew ng

• 机器学习时战

  python

• 博客 mit zhang chiyuan

厂牌

器件

市场应用

PN

.gitlab-ci.yml

https://docs.gitlab.com/ce/ci/yaml/README.html

Jobs

https://docs.gitlab.com/ce/ci/yaml/README.html#jobs

#94

every comment is a enrichment of original idea

涉及范围

• 分词
  • 关键词库(行业词库）
  • 同义词库（包含中英）
• 业务分析系统
• 权重
  • 各场景权重设定
• 验证方式

TODO

• Google：Query Intent Understanding

Hortonwork

jdbc_drivers: com.mysql.jdbc.Driver

reason

/var/lib/ambari-agent/cache/common-services/SQOOP/1.4.4.2.0/package/scripts/params_linux.py

Problem

Could not find or load main class org.apache.sqoop.Sqoop

• Reason: http://blog.csdn.net/seven_zhao/article/details/44199373
• https://repo1.maven.org/maven2/org/apache/sqoop/sqoop/1.4.6/

*-hadoop200 for HDP-2.4.2.0

23 for 0.23, 100 for 1., 200 for 2.