|
||||||||||
| 前のクラス 次のクラス | フレームあり フレームなし | |||||||||
| 概要: 入れ子 | フィールド | コンストラクタ | メソッド | 詳細: フィールド | コンストラクタ | メソッド | |||||||||
java.lang.Objectnet.java.sen.dictionary.Tokenizer
net.java.sen.tokenizers.ja.JapaneseTokenizer
public class JapaneseTokenizer
A Tokenizer for Japanese text
| フィールドの概要 |
|---|
| クラス net.java.sen.dictionary.Tokenizer から継承されたフィールド |
|---|
bosNode, dictionary, eosNode, unknownCToken, unknownPartOfSpeechDescription |
| コンストラクタの概要 | |
|---|---|
JapaneseTokenizer(Dictionary dictionary,
java.lang.String unknownPartOfSpeechDescription)
Creates a JapaneseTokenizer with the given Dictionary |
|
| メソッドの概要 | |
|---|---|
Node |
lookup(SentenceIterator iterator,
char[] surface)
Searches for possible morphemes from the given SentenceIterator. |
| クラス net.java.sen.dictionary.Tokenizer から継承されたメソッド |
|---|
getBOSNode, getDictionary, getEOSNode, getUnknownNode |
| クラス java.lang.Object から継承されたメソッド |
|---|
clone, equals, finalize, getClass, hashCode, notify, notifyAll, toString, wait, wait, wait |
| コンストラクタの詳細 |
|---|
public JapaneseTokenizer(Dictionary dictionary,
java.lang.String unknownPartOfSpeechDescription)
dictionary - The Dictionary in which to search for possible morphemesunknownPartOfSpeechDescription - The part-of-speech code to use for unknown tokens| メソッドの詳細 |
|---|
public Node lookup(SentenceIterator iterator,
char[] surface)
Tokenizer の記述:Node that is returned links through
Node.rnext to a list of matches which may be of varying
lengths
Tokenizer 内の lookupiterator - The iterator to search fromsurface - The underlying character surface
Nodes representing the possible
morphemes beginning at the given index
|
||||||||||
| 前のクラス 次のクラス | フレームあり フレームなし | |||||||||
| 概要: 入れ子 | フィールド | コンストラクタ | メソッド | 詳細: フィールド | コンストラクタ | メソッド | |||||||||