lobehub / chat-plugin-web-crawler Goto Github PK

💻 系统环境 | Operating System

macOS

🌐 浏览器 | Browser

Chrome

🐛 问题描述 | Bug Description

调用插件，然后只是消耗大量的token,没有任何返回信息，或者无效返回信息

🚦 期望结果 | Expected Behavior

No response

📷 复现步骤 | Recurrence Steps

提问“搜索eccDNA的最新发现”，调用gpt-4-32k模型，输入28981提示词，消耗3$额度，返回为“无法提供“。
提问”搜索GeminiPro的最新消息“，调用gpt-4-1106-preview, 输入29052和29498提示词，消耗2$额度，返回为空

📝 补充信息 | Additional Information

No response

🥰 需求描述 | Feature Description

当前商店里提供的插件, 非常好用, 可以解决很多问题, 但是有些时候, 需要抓非公开的, 内网里的文件, 此时本插件就派不上用场, 希望能提供方式, 把插件部署至内网, 让他可以抓取内网的内容.

另外实现方式中, 是调用了 browserless 的 token, 这样肯定是能适配很多的 SPA 应用, 但同时也让部署变得复杂, 希望能提供不使用 browserless 的实现.

🧐 解决方案 | Proposed Solution

提供 docker 等通用部署方案, 提供非 broserless 的实现

📝 补充信息 | Additional Information

我自己尝试了下自己做一个, LeoQuote/lobe-webcrawer-self-host#1 但老是报请求失败.

本地开发的时候, 也是非要先过服务端的网关, 非常的不方便, 难道我必须要 lobe 和插件都在本地运行才可正常进行调试?

💻 系统环境 | Operating System

macOS

🌐 浏览器 | Browser

Chrome

🐛 问题描述 | Bug Description

在部分非文档类的网站中，使用内容提取插件会返回不正确结果：

https://platform.openai.com/docs/api-reference/chat/create

🚦 期望结果 | Expected Behavior

No response

📷 复现步骤 | Recurrence Steps

No response

📝 补充信息 | Additional Information

No response

💻 系统环境 | Operating System

macOS

🌐 浏览器 | Browser

Chrome

🐛 问题描述 | Bug Description

希望可以根据当前剩余token来限制读取内容的长度

🚦 期望结果 | Expected Behavior

No response

📷 复现步骤 | Recurrence Steps

📝 补充信息 | Additional Information

No response

💻 系统环境 | Operating System

Windows

🌐 浏览器 | Browser

Chrome

🐛 问题描述 | Bug Description

With dolphin-mixtral, I contend that it's not able to use the plugin and crawl a web page.

🚦 期望结果 | Expected Behavior

No response

📷 复现步骤 | Recurrence Steps

No response

📝 补充信息 | Additional Information

No response

💻 系统环境 | Operating System

Windows

🌐 浏览器 | Browser

Chrome

🐛 问题描述 | Bug Description

如题，访问https://web-crawler.chat-plugin.lobehub.com/api/v1页面会显示500错误-This Serverless Function has crashed.

🚦 期望结果 | Expected Behavior

No response

📷 复现步骤 | Recurrence Steps

No response

📝 补充信息 | Additional Information

No response