Chonky:一个完全基于神经网络的文本分块工具

Chonky:一个完全基于神经网络的文本分块工具。它能将文本智能分割成有意义的语义块,帮助你更高效地处理和理解长文本。
亮点:
使用Transformer模型,精准分块;支持RAG系统,拓展应用范围;一行代码即可完成安装,简单易用。
参考文献:[1] https://github.com/mirth/chonky[2] https://huggingface.co/mirth/chonky_distilbert_base_uncased_1
[广告]赞助链接:
关注数据与安全,洞悉企业级服务市场:https://www.ijiandao.com/
让资讯触达的更精准有趣:https://www.0xu.cn/

随时掌握互联网精彩
- 支付宝新功能太实用了:健康自测、体检报告解读
- 闲鱼iOS版禁止搜索腾讯视频和游戏充值等虚拟商品 但仍可以通过淘宝跳转
- Frpc Desktop - 更简单的内网穿透工具!
- 开启收费模式,ChatGPT 试行 20 美元即享 Plus 体验,谷歌慌了!
- 微软配置错误导致大量敏感数据泄露,全球客户受影响
- 诸子笔会 | 肖文棣:供应链安全的思考
- 谷歌详细披露4个0day漏洞!已有黑客正在利用
- Cloud AI 100、AMD EPYC 7003系列处理器和技嘉服务器解决方案共助AI推理破POPS大关
- 关于清理「死代码」,我有一些好方法推荐给你
- 高通公司宣布任命安蒙为候任首席执行官
- 服务器标配 SSH 协议,你了解多少?
- 用户注册账号提示“不安全”?你应该需要SSL证书了
赞助链接