Chonky:一个完全基于神经网络的文本分块工具

教程 作者:FreeSSL 2025-05-03 19:20:24 阅读:113

Chonky:一个完全基于神经网络的文本分块工具。它能将文本智能分割成有意义的语义块,帮助你更高效地处理和理解长文本。

亮点:

使用Transformer模型,精准分块;支持RAG系统,拓展应用范围;一行代码即可完成安装,简单易用。

参考文献:[1] https://github.com/mirth/chonky[2] https://huggingface.co/mirth/chonky_distilbert_base_uncased_1

在线申请SSL证书行业最低 =>立即申请

[广告]赞助链接:

关注数据与安全,洞悉企业级服务市场:https://www.ijiandao.com/
让资讯触达的更精准有趣:https://www.0xu.cn/

#
公众号 关注KnowSafe微信公众号
随时掌握互联网精彩
赞助链接
在线咨询