• 部分敏感词搜不到，不知道是不是量词的关系

                String test = "一,二二,三三三,四四四四,五五五五五,六六六六六六";
		List<String> list = new ArrayList<String>();
		list.add("一");
		list.add("二二");
		list.add("三三三");
		list.add("四四四四");
		list.add("五五五五五");
		list.add("六六六六六六");
		System.out.println("IllegalWordsSearch run Test.");

		IllegalWordsSearch iwords = new IllegalWordsSearch();
		iwords.SetKeywords(list);

		boolean b = iwords.ContainsAny(test);
		if (b == false) {
			System.out.println("ContainsAny is Error.");
		}

		IllegalWordsSearchResult f = iwords.FindFirst(test);
		if (f.Keyword.equals("一") == false) {
			System.out.println("FindFirst is Error.");
		}

		List<IllegalWordsSearchResult> all = iwords.FindAll(test);
		if (all.get(0).Keyword.equals("一") == false) {
			System.out.println("FindAll is Error.");
		}
		if (all.get(1).Keyword.equals("二二") == false) {
			System.out.println("FindAll is Error.");
		}
		if (all.get(2).Keyword.equals("三三三") == false) {
			System.out.println("FindAll is Error.");
		}
		if (all.get(3).Keyword.equals("四四四四") == false) {
			System.out.println("FindAll is Error.");
		}
		if (all.get(4).Keyword.equals("五五五五五") == false) {
			System.out.println("FindAll is Error.");
		}
		if (all.get(5).Keyword.equals("六六六六六六") == false) {
			System.out.println("FindAll is Error.");
		}

• 敏感词找不到

                String test = "jameson吃饭";
		List<String> list = new ArrayList<String>();
		list.add("jameson吃饭");
		list.add("吃饭jameson");
		System.out.println("IllegalWordsSearch run Test.");

		IllegalWordsSearch iwords = new IllegalWordsSearch();
		iwords.SetKeywords(list);

		boolean b = iwords.ContainsAny(test);
		if (b == false) {
			System.out.println("ContainsAny is Error.");
		}

		IllegalWordsSearchResult f = iwords.FindFirst(test);
		if (f.Keyword.equals("jameson吃饭") == false) {
			System.out.println("FindFirst is Error.");
		}

• WordsSearchEx、WordsSearchEx2、StringSearchEx、StringSearchEx2也有部分词无法搜索

    IllegalWordsSearch searcher = new IllegalWordsSearch();
    List<String> list = new ArrayList<>();
    try (Stream<String> stream = Files.lines(ResourceUtils.getFile("classpath:dict/SensitiveDict.txt").toPath(), StandardCharsets.UTF_8)) {
        stream.forEach( word ->{
            list.add(word);
        });
    } catch (Exception e) {
        e.printStackTrace();
    }
    searcher.SetKeywords(list);

    List<IllegalWordsSearchResult> words = searcher.FindAll(content);
    words.forEach(word -> {
        System.out.println(word.Keyword + " - " + word.MatchKeyword);
    });

测试代码如上，在SensitiveDict中的许多关键词，在句子中却识别不出来。 目前SensitiveDict词典的大小在3000个词条左右。 如果SensitiveDict就放几条测试词条，就能够识别出来，但到3000个左右就识别不了，请问大佬是什么情况呢...

` string text = "A1002481003吃饭"; var keywords = new string[] { "248" }; var iws = new IllegalWordsSearch(); var ss = new StringSearch(); var sse = new StringSearchEx(); iws.SetKeywords(keywords);

    //无结果
    var iwsFirst = iws.FindFirst(text);
    var iwsAll = iws.FindAll(text);

    //正常识别出248
    ss.SetKeywords(keywords);
    var ssFirst = ss.FindFirst(text);
    var ssAll = ss.FindAll(text);
    
    //正常识别出248
    sse.SetKeywords(keywords);
    var sseFirst = sse.FindFirst(text);
    var sseAll = sse.FindAll(text);

`

你好，麻烦看一下，测试代码中的待检查词，可以在词库中找到，但是无法检查出来 词库： https://github.com/elulis/sensitive-words/blob/master/src/main/resources/sensi_words.txt

测试代码：

public static void main(String[] args) {
    long l1 = System.currentTimeMillis();
    IllegalWordsSearch search = new IllegalWordsSearch();
    long l2 = System.currentTimeMillis();
    System.out.println("IllegalWordsSearch init time:" + (l2 - l1));

    List<String> list = new ArrayList<>();
    try (Stream<String> stream = Files.lines(ResourceUtils.getFile("classpath:sensi_words.txt").toPath(), StandardCharsets.UTF_8)) {
        stream.forEach( word ->{
            list.add(word);
        });
    } catch (Exception e) {
        e.printStackTrace();
    }
    search.SetKeywords(list);
    long l3 = System.currentTimeMillis();
    System.out.println("load word time:" + (l3 - l2));

    String test = "机机歪歪";

    boolean b = search.ContainsAny(test);
    if (b) {
        System.out.println("包含非法字符");
    }
    long l4 = System.currentTimeMillis();
    System.out.println("check time:" + (l4 - l3));
}

代码1如下： var search = new PinyinMatch(); search.SetKeywords(keywords); search.Find("野huo");

代码2如下： var search = new StringSearchEx3(); search.SetKeywords(keywords); search.FindAll("野火");

keywords来自字典文件：数据量:351121 https://res.lims.ltd/dict.txt

两段代码报一样的错： Unhandled exception. System.NullReferenceException: Object reference not set to an instance of an object. at ToolGood.Words.internals.PinyinDict.GetPinyinList(String text, Int32 tone) at ToolGood.Words.PinyinMatch.SetKeywords(ICollection`1 keywords)

var search = new IllegalWordsSearch(); List keywords = new List(); keywords.Add("fuck"); keywords.Add("ffx"); search.SetKeywords(keywords); var result = search.Replace("fFuck");

我实际测了一下，使用了67万关键字，12M文本，SetKeywords，2秒左右，占用内存1.7G，这还不算多大的数据情况下，有点招不住，另外，看到FirstPinYinNode=>PinYinNode=>ChineseNode,也就是说树的深度随着指数增加，在大量数据的情况假设按管件字20字，深度60，每三级节点，第一级26字母，第二级，常见拼音406个，第三级，中文字符20903个，这样下来，搜索的深度和广度是否太大了一些，是否有更好的解决方案，能否在设计上做一些优化。

第一个问题是匹配位置的问题： 在 WordsSearch.cs FindAll 方法中 list.Add(new WordsSearchResult(keyword, i + 1 - keyword.Length, i, item)); 这样计算出来的位置有很大偏差 经过我仔细计算后，应该是这样的

int start = i + 1 - keyword.Length;
list.Add(new WordsSearchResult(keyword, start, start + keyword.Length, item));

其中 FindFirst 也是一样的问题。

第二个问题还是匹配位置的问题： 如果匹配的内容中有 \r、\n 这类的字符，那么实际计算出来的位置要减去这类字符的数量

比如我有如下测试文本：

庭审中，邱吉林承认了曾同小小发生性关系，但否认知道小小的年龄，其辩护人为他做了轻罪辩护。
12月16日，备受关注的成都市双流区14岁未成年女生小小（化名）遭遇强奸后跳楼事件在双流区人民法院开庭审理。双流区人民检察院指控，2019年8月至12月期间，被告人邱吉林在明知小小不满14周岁的情况下，采取金钱利诱、威胁等手段，与其相继发生8次性关系，期间还两次拍摄性侵视频并传播。检方认为，被告人邱吉林多次奸淫不满十四周岁的幼女，并造成被害人怀孕等后果，情节特别恶劣，罪行极其严重，应当以强奸罪追究其刑事责任。
上游新闻记者了解到，被告人邱吉林当庭承认了自己曾与小小发生过性关系，但否认知道其具体年龄，代理律师为他做了轻罪辩护。
被害人小小的母亲表示，不接受邱吉林的任何道歉与赔偿，希望法院能够对其重判。
取保候审期间，邱吉林发布的出行照片。图片来源 / 网页截图
此前，上游新闻刊发的《成都14岁女生被强奸引产后自杀，涉案企业老板取保候审后疑似西藏旅游》《成都少女被强奸后自杀 媒体报道3天后嫌犯被批捕》报道显示，小小的母亲朱琴华表示，女儿生前曾遭企业老板邱吉林的伤害：邱吉林先通过利诱小小发送裸照，再利用裸照胁迫小小发生关系并导致小小怀孕。2月3日，小小发现自己怀孕，到医院检查后发现已怀孕15周。2月4日，成都市公安局双流区分局就小小被强奸一案正式立案侦查，邱吉林被取保候审。成都市公安局双流区分局5月8日作出的鉴定意见书显示，“邱吉林是小小引产胎儿的生物学父亲”。
6月28日晚，小小在位于双流区的家中结束了自己的生命。
今年7月2日，媒体广泛报道了小小的遭遇后，双流警方将已经取保候审近5个月的邱吉林刑事拘留，7月16日邱吉林被逮捕，10月30日检方移送法院起诉。
双流区人民检察院指控，2019年8月20日，邱吉林与被害人小小相互添加为QQ好友并进行聊天。2019年8月至12月期间，邱吉林林在明知小小不满14周岁的情况下，采取金钱利诱、威胁等手段，与其相继发生8次性关系。
上游新闻记者注意到，邱吉林在8次性侵小小时，均选择了双流区的酒店进行犯罪。
检方指控，邱吉林除了性侵小小外，还拍摄了小小的裸照，记录了侵犯过程，还将这些裸照和视频两次发送给朋友进行炫耀。
检方认定，邱吉林在2019年10月19日性侵小小时，还拍摄了她手机通话记录的页面，其中包括小小母亲和其他亲属的电话号码。
小小的母亲朱琴华对上游新闻记者表示，邱吉林不仅通过拍摄小小裸照以传给她朋友的方式相威胁，还威胁将这些事告诉其家人，“邱吉林记录我和其他亲戚电话号码的目的，就是为了威胁小小不要把这些事告诉我们，以达到控制小小的目的。”
鉴定书证实，邱吉林是小小引产胎儿的父亲。图片来源 / 受访者提供
庭审中，邱吉林承认了曾同小小发生性关系，但否认知道小小的年龄，其辩护人为他做了轻罪辩护。
检方在庭审中指出，邱吉林曾询问过小小的同学小小的年龄，同时根据邱吉林和小小同学聊天记录也可以认定，邱吉林知道或者应当知道小小未成年。
朱琴华告诉上游新闻记者，邱吉林曾不止一次地通过聊天软件添加过小小同学，“还曾把小小的裸照发给她的同学，不止一次询问小小的年龄。”
上游新闻记者获悉，小小母亲朱琴华以刑事附带民事原告人的身份，向法院提出了民事赔偿请求，要求邱吉林赔偿医疗费、护理费等共计83万余元。
12月16日庭审结束后，双流区人民法院未对此案当庭宣判。
小小的母亲朱琴华告诉上游新闻记者，获悉邱吉林曾向朋友炫耀性侵过未成年少女、发送小小裸照给其他人之后十分气愤，“我唯一的要求就是法院对他重判。”朱琴华称，小小被性侵一案审理结束后，她也希望能够搞清楚为何邱吉林在被以强奸罪立案侦查后，可以在当天取保候审，取保候审期间还可以在全国范围内自由行动，警方为何没有在DNA报告出来后对其变更刑事强制措施，“女儿生前不仅一次问过我，为什么不及时抓邱吉林？这也是我的疑问。”
上游新闻记者 胡磊

以 “强奸” 这个词为例

正常匹配出来的开始位置应该是 80，结束位置是82 但实际结果是：79，81 问题是因为在 其辩护人为他做了轻罪辩护。 这句后面有个 \n 符号

以上两个结果是基于第一问题我改了代码后匹配出来的位置。

不错的工具,做项目正好用到.我看代码里面现在是这样写的

        /// <summary>
        /// 获取单字拼音
        /// </summary>
        /// <param name="ch"></param>
        /// <returns></returns>
        public static String Get(Char ch)
        {
            if (ch >= 0x4e00 && ch <= 0x9faf) {

能添加一个具体说明注明每个API已经支持的字符集和计划支持哪些就更好了

谢谢您的软件，在多音字识别方面超出了很多同类软件。不过还有的偏僻汉字不能识别出拼音，比如这几个字：“㘄䉄䬋䮚䚏㭁䖆”，望改进。 "㘄": "lēng", "䉄": "léng", "䬋": "léng", "䮚": "lèng", "䚏": "lèng,lì,lìn", "㭁": "réng", "䖆": "niàng"

func (s *BaseSearchEx) sortMap(mp map[int32]int) []int32 { var newMp = make([]int, 0) var newMpKey = make([]int32, 0) for oldk, v := range mp { newMp = append(newMp, v) newMpKey = append(newMpKey, oldk) } sort.Ints(newMp) //排序

list := make([]int32, 0)
for k, _ := range newMp { //这里的k是下标是0到len(newMp)-1，也就是跟for k:=0;k<len(newMp);k++ {一样，上面排序没有用 
	list = append(list, newMpKey[k])
}
return list

}