E X P
  • 编辑
  • 评论
  • 标题
  • 链接
  • 查错
  • 图文
  • 拼 命 加 载 中 ...

    像ChatGPT这种AI助手都挺好用的,不过用户需要联网才能够访问它们。虽然本地部署LLM也是可以的,但是多半比较麻烦。而近日,NVIDIA推出了一种较为方便的本地部署AI助手的方式,名为Chat with RTX。

    NVIDIA在官方博客中表示,Chat with RTX是一个技术演示应用,可以让用户以自己的内容定制一个聊天机器人。这个应用结合了检索增强生成、TensorRT-LLM和NVIDIA RTX加速技术。用户可以把PC上的本地文件作为数据集连接到开源的LLM如Mistral或Llama 2上,这样就能询问AI获得答案和相关的文件,而不必自己动手寻找。NVIDIA表示,Chat with RTX支持.txt,.pdf,.doc/docx,.xml等多种文件类型,只需要给出文件夹路径,AI就会在数秒内把它们加载到库中。

    另外,用户还可以让AI理解并提取Youtube视频中的内容(至少NVIDIA是这样说明的,不知道是否支持更多网站),只需要添加Youtube视频或者播放清单的URL,就可以向AI提问,比如说让它总结视频内容。这里说明一下,虽然这个操作需要访问网络,但是AI的运算是全程在本地进行的。

    至于配置要求的话,用户需要一张8GB显存起步的RTX 30或40系显卡(反正是Ampere和Ada Lovelace两代GPU就行),16GB以上的内存,Windows 11系统和535.11及更新的驱动。就显存这块来说要求也不算特别高。占用空间方面,用户需要下载35.1GB文件。感兴趣和配置要求及格的用户可以点击【该链接】直接下载体验。

    附带一提,上面的下载链接是美国区的,中国区的Chat with RTX页面目前仍然显示该应用处于未发布状态。

    ×
    热门文章
    1英伟达GeForce Game Ready 552.22 WHQL驱动:修复了旧显卡存在已久的问题
    2Sharkoon推出Rebel C20 ITX机箱:立卧双形态,兼容360水冷及365mm长显卡
    3英伟达推出RTX A1000 / A400:单槽Ampere架构工作站显卡,TDP仅50W
    4AMD发布Ryzen PRO 8000系列产品组合:为企业用户带来支持AI技术的处理器
    5逐渐放弃Gecko内核,XR浏览器Wolvic推出Chromium内核版本
    6锐龙5 8400F天梯榜首发评测:打造高性价比游戏整机平台
    7雷神推出T-BOOK 16D笔记本:银白主题设计,2K@120Hz屏幕,首发价3999元
    8《黑神话 : 悟空》已在PS商店上架:8月20日同步发售,未提及定价
    9英伟达Blackwell新平台产品需求看涨,或带动台积电全年CoWoS产能提升逾150%
    欢迎参与评论,每一条合规评论都是对我们的褒奖。
    登录快速注册 后发表评论
    登录 后发表评论,若无帐号可 快速注册 ,请留意 评论奖罚说明