Api

Lucene

传入Lucene用于构建索引的纯文本，通常会进行令牌化(tokenization)的过程。令牌化是把输入文本拆分成多个小索引元素的过程，这些元素成为令牌(tokens)。输入文本被分解为令牌的方式在很大程度上影响后面如何搜索该文本。例如，可以识别语句的开头和结尾以提供更准确的短语和相似度搜索（Lucene不提供句子识别）。

在某些情况下，仅将输入文本拆分成令牌是不够的，可能需要更深入的分析。Lucene提供标记前和标记后的分析工具。

标记前工作，比如剥离HTML标签，转换、删除任意匹配的模式串。

笔记后的工作，比如：

词干提取，使用词干替换单词。在语言形态学和信息检索中，词干提取是将变形的（或有时衍生的）词还原为词干，基词或词根形式（通常是书面词形式）的过程。
停用词过滤，减少索引量和噪音。停用词是在处理自然语言数据（文本）之前或之后过滤掉的词。
文本规范化，是将文本转换为单一规范形式的过程。
同义词扩展。

Packages

用于将文本转换为可可索引、可搜索标记的库，包括及相关类。analysis包提供了将Strings和Readers转换为Lucene可以索引的令牌的机制。该包包含四个主要类，所有分析过程由他们派生出来。

用于提供索引和搜索过程可消费的。
CharFilter扩展了Reader在令牌化文本前的转换过程，同时为这些更改提供正确的字符偏移量。当索引令牌从CharFilter创建时，该能力允许高亮显示应用在原始文本上。修改后的文本，其偏移量与原始文本中的偏移量不同。多个CharFilter可以串联，来执行多个令牌化前的修改操作。接受 CharFilter。
Tokenizer是一个TokenStream，负责把输入文本拆分成令牌。在许多情况下，会将用作分析过程的第一步。但是，要在标记化之前修改文本，需要使用CharFilter。
TokenFilter是一个TokenStream，用于修改Tokenizer创建的令牌。TokenFilter常见的修改操作有删除、词干提取、同义词注入。并不是所有的Analyzer都需要TokenFilter。

提供了对倒排索引结构的编码和解码的抽象，以及可以根据应用程序需求选择的不同实现。

提供一个简单的Document类。Document只是一组命名字段，其值可以是字符串或Reader的实例。

提供了两个主要的类，IndexWriter用于创建索引并将文档添加到索引；IndexReader，用于访问索引中的数据。

Steps

通过添加Fields创建Documents

Hints, Tips and Traps

CharFilter是Reader的子类，它支持偏移量跟踪。

分析器是构造索引缓慢的主要原因之一。

benchmark对测试分析进程效率非常有帮助。

Invoking the Analyzer

应用程序通常不需要调用分析器，交由Lucene来做。

搜索阶段，QueryParser有可能在解析阶段调用Analyzer，有些搜索可能不会有分析操作。

应用可以这样执行分析器，用于测试或者其他目的。

Version matchVersion = Version.LUCENE_XY; // Substitute desired Lucene version for XY
Analyzer analyzer = new StandardAnalyzer(matchVersion); // or any other analyzer
TokenStream ts = analyzer.tokenStream("myfield", new StringReader("some text goes here"));
// The Analyzer class will construct the Tokenizer, TokenFilter(s), and CharFilter(s),
//   and pass the resulting Reader to the Tokenizer.
OffsetAttribute offsetAtt = ts.addAttribute(OffsetAttribute.class);

try {
  ts.reset(); // Resets this stream to the beginning. (Required)
  while (ts.incrementToken()) {
    // Use AttributeSource.reflectAsString(boolean)
    // for token stream debugging.
    System.out.println("token: " + ts.reflectAsString(true));

    System.out.println("token start offset: " + offsetAtt.startOffset());
    System.out.println("  token end offset: " + offsetAtt.endOffset());
  }
  ts.end();   // Perform end-of-stream operations, e.g. set the final offset.
} finally {
  ts.close(); // Release resources associated with this stream.
}

Indexing Analysis vs. Search Analysis

选择正确的分析器对于搜索质量至关重要，也会影响索引、搜索性能。对于应用程序来说，正确的分析器取决于输入文本以及解决什么样的问题，这里有一些经验指导：

测试
过多的分析器可能会影响索引性能
索引、搜索过程从相同的分析器开始，否则搜索的时候可能不知道目的是什么...
在某些情况下，需要使用其他分析器进行索引和搜索
- 某些搜索需要过滤更多停用词

构造自己的分析器和分析组件

字段剖面边界

document.add(new Field("f","first ends",...);
document.add(new Field("f","starts two",...);
indexWriter.addDocument(document);

Version matchVersion = Version.LUCENE_XY; // Substitute desired Lucene version for XY
Analyzer myAnalyzer = new StandardAnalyzer(matchVersion) {
  public int getPositionIncrementGap(String fieldName) {
    return 10;
  }
};

Reference

上一页Lucene 下一页Concepts

最后更新于4年前

这有帮助吗？