Chatty – 浏览器上运行的本地大模型AI聊天工具

Chatty(浏览器上运行的本地大模型AI聊天工具)简介

Chatty是一个浏览器上运行的本地大模型AI聊天工具,是一个利用WebGPU在浏览器中本地和私密地运行LLM的Next.js应用程序,这种方式消除了对服务器端处理的需求,确保数据仅保留在本地计算机上,不会通过互联网传输。,从而实现将LLM的强大功能植入到浏览器,同时确保完全的隐私和离线功能。

该工具支持流行的开源模型,如Gemma、Llama2、Llama3和Mistral。让我们能够使用各种前沿的AI技术,同时该同居不仅仅是一个私人AI聊天工具,它提供了大量功能来增强我们的使用体验。受到Gemini和ChatGPT等知名AI界面的启发,该工具也拥有类似的直观的用户界面,为用户提供了熟悉的使用方式。

Chatty - 浏览器上运行的本地大模型AI聊天工具

该工具还有一个功能特性就是能够通过XenovaTransformerEmbeddings和MemoryVectorStore处理和理解文件,包括PDF和非二进制文档。这样我们就可以上传文件,并就内容向AI模型提问,同时我们的文档将完全保留在本地,确保数据和隐私安全。

该工具还允许您添加自定义指令和记忆,使AI能够提供更个性化和有针对性的响应。另外还可以将聊天记录导出为JSON或Markdown格式,方便保存和共享对话内容。

该工具提供了语音输入支持,允许我们使用自然语音与模型进行交互。如果您对响应不满意,也可以快速重新生成,而无需重新输入提示。

Chatty(浏览器上运行的本地大模型AI聊天工具)官网

如果要在本地设置和运行项目,请按照以下步骤操作:

1.通过命令提示符将存储库克隆到PC上的目录:

git clone https://github.com/addyosmani/chatty

2. 打开文件夹:

cd chatty

3. 安装依赖:

npm install

4. 启动开发服务器:

npm run dev

5. 浏览器中打开 localhost:3000 并开始聊天!

相关文章