Chonky:一个完全基于神经网络的文本分块工具
Chonky:一个完全基于神经网络的文本分块工具。它能将文本智能分割成有意义的语义块,帮助你更高效地处理和理解长文本。
亮点:
使用Transformer模型,精准分块;支持RAG系统,拓展应用范围;一行代码即可完成安装,简单易用。

参考文献:[1] https://github.com/mirth/chonky[2] https://huggingface.co/mirth/chonky_distilbert_base_uncased_1
[广告]赞助链接:
关注数据与安全,洞悉企业级服务市场:https://www.ijiandao.com/
让资讯触达的更精准有趣:https://www.0xu.cn/
关注KnowSafe微信公众号随时掌握互联网精彩
- Visual Studio Code市场出现10个恶意扩展 冒充AI帮助开发者编写代码实则挖矿
- 马斯克每周“硬核”工作 120 小时,网友:“只要醒着都在工作?”
- 乔布斯女儿嘲讽iPhone 14没新意;高德打车AR实景找车功能上线;Go语言报告:错误处理仍然是个挑战|极客头条
- 这些人用华为手机的镜头造了一个梦
- CVE-2018-18708 TENDA缓冲区溢出漏洞
- 多项式MBA原理及其在代码混淆中的应用
- 小猿搜题举报高考作弊,还侵犯了用户隐私?
- 你已经用上 5G 网络了吗?
- 征文|陈欣炜:终端安全的一点思考——从机场的终端管控说起
- 开启5G技术演进的全新十年
- 用 Python 分析了 5 万条相亲数据,告诉你男女相亲背后的秘密
- 在?这么冷的冬天,快来峡谷里暖和暖和吧!
赞助链接



