知识库构建索引出错，提示pymilvus.exceptions.DataNotMatchException: <DataNotMatchException: (code=1, message=Attempt to insert an unexpected field to collection without enabling dynamic field)> about history_rag

[2217092594]

已经测试成功，在虚拟机上，分配8G内存，cpu随便，磁盘最好是ssd硬盘，运行docker服务很流畅，看来之前的所有问题都是因为资源不足造成的，主要就是内存和磁盘占用比较高

[2217092594]

@2217092594 @PaperPlaneDeemo 如果方便复现的话，在history_rag目录下找一下volumes

find ./ -name "volumes"

然后进入volumes文件夹，执行一下

du ./ --max-depth=1 -h

看一下在volumes文件夹下面的minio和etcd目录大小。

如果没理解错的话，你应该想看docker的外挂目录里面的文件大小

应该是这样把

[wxywb]

你用的milvus版本是啥

[2217092594]

你用的milvus版本是啥

就用的docker-compose直接up的啊，会不会是我的docker出问题了

[wxywb]

你用一下 build -overwrite 试一下呢

[2217092594]

你用一下 build -overwrite 试一下呢

好的，看到了，我现在试试

[2217092594]

你用一下 build -overwrite 试一下呢

好的，看到了，我现在试试

这次倒是一切正常，数据库也没有报什么错，就突然在构建100%时连接不上数据库

[wxywb]

要不先试试zilliz pipeline方案好了，也不用管理数据库和模型，这个我还得看看。

[2217092594]

要不先试试zilliz pipeline方案好了，也不用管理数据库和模型，这个我还得看看。

好的，也可能是我服务器问题，晚点儿我在本地试一下

[czs007]

@2217092594 could you provide the schema of the collection?

[2217092594]

@2217092594 could you provide the schema of the collection?

？

[wxywb]

@2217092594
这个bug可能和schema有关系，可以执行一下这段代码（host改为你的ip）

from pymilvus import utility
from pymilvus import connections
from pymilvus import Collection
connections.connect(
  alias="default",
  host='localhost',
  port='19530'
)
print(utility.has_collection("history_rag"))
collection = Collection("history_rag")
print(collection.schema)

[2217092594]

@2217092594 这个bug可能和schema有关系，可以执行一下这段代码（host改为你的ip）

from pymilvus import utility
from pymilvus import connections
from pymilvus import Collection
connections.connect(
  alias="default",
  host='localhost',
  port='19530'
)
print(utility.has_collection("history_rag"))
collection = Collection("history_rag")
print(collection.schema)

好我试一下，我不太了解向量数据库如何运行的，我只知道之前是已经连上了，不知道为什么又报连接失败错误，有空我学习一下向量数据库

[2217092594]

@2217092594 这个bug可能和schema有关系，可以执行一下这段代码（host改为你的ip）

from pymilvus import utility
from pymilvus import connections
from pymilvus import Collection
connections.connect(
  alias="default",
  host='localhost',
  port='19530'
)
print(utility.has_collection("history_rag"))
collection = Collection("history_rag")
print(collection.schema)

好我试一下，我不太了解向量数据库如何运行的，我只知道之前是已经连上了，不知道为什么又报连接失败错误，有空我学习一下向量数据库

刚试了一下，报错了，看起来像是没有连接上

[wxywb]

是的 你可以使用docker ps看一下你的milvus容器是否健康

[2217092594]

是的 你可以使用docker ps看一下你的milvus容器是否健康

突然就挂掉了两个，只剩milvus-standalone还在运行，看起来像是过载了，其他两个容器都挂了，我再重启一次试一下，，，，，

[PaperPlaneDeemo]

出现了相同的问题，使用docker ps查看后发现只剩minio和etcd在线，standalone挂了

[2217092594]

milvus (2).log
这是完整的日志信息，在本地的docker中，也是会挂掉，刚开始运行程序还能构建一段时间，后来就变成容器启动几分钟自动挂掉standalone

[2217092594]

目前不知道为什么，清理完所有东西，包括镜像和容器，再使用compose up一下，已启动就疯狂占用磁盘，然后过一会儿就会掉standalone服务

[wxywb]

ok，我会让milvus的同事来看一下这个问题。

[wxywb]

@2217092594 @PaperPlaneDeemo
如果方便复现的话，在history_rag目录下找一下volumes

find ./ -name "volumes"

然后进入volumes文件夹，执行一下

du ./ --max-depth=1 -h

看一下在volumes文件夹下面的minio和etcd目录大小。

[wxywb]

@2217092594 ，已启动就疯狂占用磁盘,能详细描述一下这句话你具体观察到的现象是什么，是哪个文件夹占用快速过大，还是什么指标？

[2217092594]

@2217092594 ，已启动就疯狂占用磁盘,能详细描述一下这句话你具体观察到的现象是什么，是哪个文件夹占用快速过大，还是什么指标？

目前我遇到的是启动docker就开始疯狂占用磁盘io，然后就开始挂，我也通过iotop命令看到是进程确定就是docker里的服务占用的，具体是哪个服务忘了，等我晚上回去截图确定一下

[2217092594]

@2217092594 ，已启动就疯狂占用磁盘,能详细描述一下这句话你具体观察到的现象是什么，是哪个文件夹占用快速过大，还是什么指标？

通过docker-compose up -d 启动容器

我并没有启动程序连接操作
等待启动完成，观看io占用如下

再等待几分钟，standalone服务将会挂掉，io占用恢复正常

[wxywb]

我注意到你是在vmware虚拟机中运行的，不知道你虚拟机的资源情况（比如内存之类的），milvus是有一些需求的，https://milvus.io/docs/prerequisite-docker.md ，如果可以的话，要不在宿主机环境下试一试？

[2217092594]

我注意到你是在vmware虚拟机中运行的，不知道你虚拟机的资源情况（比如内存之类的），milvus是有一些需求的，https://milvus.io/docs/prerequisite-docker.md，如果可以的话，要不在宿主机环境下试一试？

大概需要多少资源，我可以分配，我再我的服务器上也是运行一段时间就挂了，1核两G的云服务器

[wxywb]

我们现在怀疑这是一个资源问题，有两个方案。
1.使用2.3.9版本的milvus

wget https://github.com/milvus-io/milvus/releases/download/v2.3.9/milvus-standalone-docker-compose.yml -O docker-compose.yml

使用这个文件替换掉db/下的docker-compose.yml，然后再保证2核4G的资源来启动milvus。
2 使用zilliz cloud serveless
zilliz cloud提供了一些serveess的免费实例，只要注册，并且填入uri和token就可以，这个可能需要一些非常微小的小改，我之后会写一个doc。

[2217092594]

好的，我试一下这个版本的，然后我也会在宿主机上试一下docker运行

[PaperPlaneDeemo]

已经测试成功，在虚拟机上，分配8G内存，cpu随便，磁盘最好是ssd硬盘，运行docker服务很流畅，看来之前的所有问题都是因为资源不足造成的，主要就是内存和磁盘占用比较高

请问能完整描述下您的milvus版本和docker分配的资源吗？我也想在Windows上再测试下，谢谢

[2217092594]

已经测试成功，在虚拟机上，分配8G内存，cpu随便，磁盘最好是ssd硬盘，运行docker服务很流畅，看来之前的所有问题都是因为资源不足造成的，主要就是内存和磁盘占用比较高

请问能完整描述下您的milvus版本和docker分配的资源吗？我也想在Windows上再测试下，谢谢

ok，其实也没有那么多限制，首先milvus版本用的这个docker-compose文件生成的
wget https://github.com/milvus-io/milvus/releases/download/v2.3.9/milvus-standalone-docker-compose.yml -O docker-compose.yml
然后docker资源分配这块儿，我并没有具体限定容器的资源，我是直接使用vm虚拟机创建了一个centos7版本的，并没有使用windows的docker（我电脑的原因装不上），然后内存一定要分配够，我用了8G运行流畅，然后就是磁盘，如果是固态的话会比较好点儿，其他的没什么了