Chonky:一个完全基于神经网络的文本分块工具

Chonky:一个完全基于神经网络的文本分块工具。它能将文本智能分割成有意义的语义块,帮助你更高效地处理和理解长文本。
亮点:
使用Transformer模型,精准分块;支持RAG系统,拓展应用范围;一行代码即可完成安装,简单易用。
参考文献:[1] https://github.com/mirth/chonky[2] https://huggingface.co/mirth/chonky_distilbert_base_uncased_1
[广告]赞助链接:
关注数据与安全,洞悉企业级服务市场:https://www.ijiandao.com/
让资讯触达的更精准有趣:https://www.0xu.cn/

随时掌握互联网精彩
- 短视频活跃用户破10亿:抖音、快手把前六名全占了
- OPPO首批机型本月开启ColorOS 15正式版升级:涵盖Find X7等11款
- 李开复加入“中文版 ChatGPT”大战:宣布筹组新公司,招募世界级人才!
- 任天堂疑似开发工具、源代码等机密数据泄露!16岁黑客为幕后黑手
- MBBF2022在线体验官招募!
- 英国国家医疗服务体系陷入中断!因服务提供商遭受网络攻击
- 有爱无碍 科技助力信息无障碍
- 自媒体时代的贤内助——AI 视频云
- Python还值得学吗?
- 曾勒索卡普空的黑客组织解散,并向受害者免费公布密钥
- 在Z|南京证券、美柚(高至42万/年)诚招安全相关工程师
- Qualcomm招聘 | IoT岗位火热来袭
赞助链接