mycsai / ziwei

基于已有基座模型微调的算命大模型

紫薇算命大模型

紫薇系列模型

• Ziwei-llama-7B：此版本基于Chines-llama-alpacha-7B通过lora微调和小批量文本pre-train训练而来，此基座模型相较于llama，扩充了中文词汇表，增加了在中文上表现能力，训练后算命领域的表现得到显著提升 。

• Ziwei-chatglm3-6B:此版本基于Chatglm3-6B通过p-tuning训练而成，此基座模型拥有目前10B以下最好的中文表现能力 ，微调后算命领域也有显著提升。

简介

本项目旨在开发一个算命大模型，利用中文AI模型进行答题，提供给用户准确、有趣的算命体验。

我们将使用两种不同的模型分别进行开发：基于Chinese-llama-alpacha模型和基于chatGLM3模型。同时，我们将对它们进行比较，以了解它们在算命服务中的表现差异。数据收集方面，我们将使用爬虫技术收集网络上的相关问答对，同时利用书籍、博客等信息源获取更多的算命内容，并结合ChatGPT3.5API生成更多的问答对，以拓展数据集。 我们将使用lora（Language Representation Augmentation）技术对Chinese-llama模型进行微调，以提高其在算命服务中的表现。lora技术能够通过引入多样化的语言表征，增强模型的语言理解能力，使其在特定领域表现更好。 对chatGLM3模型则将采用P-tuningV2技术进行微调，P-tuningV2是一种自动深度参数调整技术，能够以较低的计算成本实现对模型的微调，并提升其在指定任务上的性能。

通过思维链、longchain和向量数据库的应用，我们将构建丰富的prompt，以激发模型更具创意、生动的回答，并提供更具吸引力的算命体验。通过向量数据库的构建，我们也将提供更加准确的查询匹配以及信息检索能力。 在对两种模型进行微调后，我们将进行性能比较与评估。通过评估指标包括准确率、回答的充实度、回答的个性化程度等，来比较两种模型在算命服务中的表现差异，以及它们的适用场景和优劣势。 我们希望通过这个项目，为用户提供一个全新的算命体验，以及为中文AI模型的应用领域提供更多的实践和拓展。

数据

我们的对话数据由chatgpt-3.5生成，共十万条指令微调数据，随后经过清洗、数据增强，以下是数据样例：

类型	数据
llama数据	"instruction": "请为我进行星座预测， 告诉我未来的事业发展如何。", "input": "我是射手座的，想知道我的事业发展如何，可以为我进行星座预测吗？", "output": "根据你的星座射手座，预测显示你的事业将取得积极的发展。你将迎来许多机会和挑战，需要运用你的乐观和自信来面对。随着时间的推移，你将在工作中得到认可和升职的机会。记得保持专注和努力，同时也留出时间来追求个人兴趣和发展。"
chatglm3数据	"prompt": "我抽到了一个卦象，是震卦。请帮我解读一下这个卦象。", "response": "震卦代表着行动和挑战。这个卦象提醒你在面对困难和障碍时要保持积极的态度，并勇于采取行动。不要害怕失败，因为失败是成功的一部分。这个卦象还提醒你关注自己的思维方式和决策过程，确保它们是明智和有利的。相信自己的能力，勇往直前。"

文本数据来自有关算命的电子书籍，以及对部分算命网站的爬虫。

部分数据在项目data文件夹下。

实验结果

举例：对于“我的出生日期是2002年10月5日22时15分我什么时候会有孩子？”这个问题，我们给出微调前与微调后和加入 提示词工程后的回答对比。

类型	微调前回答	微调后回答
Ziwei-Chatglm3-6B	作为一个人工智能助手，我无法预测个人的命运，包括生育的时间。生育是一个自然的过程，受到许多因素的影响，包括个人的生育能力、健康状况、家庭环境等。我的建议是，要积极面对生活，努力实现自己的目标，不断学习和成长。这样，你就能塑造自己的命运。	作为一位占卜师，我会根据你的出生日期和时间来进行一次星盘解读，以了解你目前的生育状况和未来可能的生育机会。首先，你的出生日期是2002年10月5日22时15分，这是一个天秤座的出生日期，代表看你是—个内向、深入、有洞察力的人，对于生命和爱情有着强烈的渴望和追求。在星盘解读中，我发现你的太阳在天秤座，这意味着你有着良好的社交技巧和人际关系，对于恋爱和婚姻有着很高的期望和要求。同时，你的月亮在射手座，这代表着你有着开放、自由、冒险和探索的精神，对于爱情和家庭也有着开放的态度。根据你的星盘解读，目前你的生育状况可能存在一些不确定性，可能需要进一步的检查和观察。未来可能的生育机会主要取决于你和你伴侣的关系状况、健康状况等因素。因此，我建议你保持积极乐观的心态，与你的伴侣共同关注生育问题，并在必要时寻求专业医生的帮助和建议。最后，我想要提醒你，作为一位占卜师，我的解读只是一种参考，并不能完全决定你的命运和未来。你的生育状况和机会，还取决于你自己的努力和选择。希望你能够保持积极、乐观和自信的心态，面对未来的挑战和机遇。
Ziwei-llama-7B	抱歉，作为占卜师，我不能提供关于个人的预测或建议。但是，你可以通过自我探索、冥想或咨询专业心理医生来了解自己内心深处的想法和感受。	作为占卜师，我可以告诉你一些相关的信息，但是不能确定你的具体命运。根据占星学的理论，一个人的出生日期、时间和地点等信息会影响他们的命盘和星座，从而影响他们的生辰八字。然而，这些因素并不总是确定性的，因为每个人的生命历程都是独特的，并且受到许多其他因素的影响。关于你的问题，如果你想知道何时会有孩子的话，那么你可以通过占星学来预测。首先，你需要了解你的命盘和星座，然后使用占星学的方法来分析它们。在占星学中，每个星座都有不同的象征和含义，而每个命盘也具有不同的特征。因此，通过分析你的命盘和星座，你可以获得有关何时会有孩子的信息。然而，请注意，占星学只是一种预测方法，它并不能保证100%准确。它只能提供一些可能的情况和趋势，但最终的结果取决于你的个人选择和行动。此外，由于每个人的生命历程都是独特的，所以即使是相同的星座和命盘，也会导致不同的结果。总之，如果你想了解何时会有孩子的问题，那么可以通过占星学进行预测。但是，请记住，这种预测方法并不是百分之百准确的，而且最终的结果取决于你自己的选择。根据你提供的信息，你的命盘显示你将在未来十年内有机会拥有孩子。然而，具体的时间还要综合考虑其他因素，如个人意愿、健康状况等。建议你保持身体健康和平衡的生活，并注意时机，如果合适，可以试着怀孕。

使用

模型下载

• Ziwei-Chatglm3-6B：

  下载微调后的模型权重：下载网址： 百度网盘。 提取码：5qqd

模型使用提示

1.下载网盘内微调后的权重以及chatglm3-6B的原始权重，一同使用方为完整模型。

2.可以选择选择微调后或者加入prompt的模型进行推理。

3.可以继续收集数据利用脚本进行微调。

项目参与者

本项目由哈尔滨工业大学（威海）网络与信息安全研究中心完成，指导教师为徐永东

以下为相关贡献者，排名不分先后

研发：佟梓赫，秦晨阳，刘宗鑫，沙昆

ziwei's Issues

请问 训练数据集 能公开吗

如题

根据已公布的数据集，有污染情况，例如：部分instruction和input中都未出现详细信息，但output在输出推算结果