字符串标记化器类允许应用程序将字符串分解为标记。
标记化方法比StreamTokenizer类使用的方法简单得多。
StringTokenizer方法不区分标识符，数字和带引号的字符串，也不识别和跳过注释。
可以在创建时或基于每个令牌指定分隔符集（分隔令牌的字符）。
StringTokenizer的实例以两种方式之一运行，具体取决于它是使用值为true或false的returnDelims标志创建的：
如果标志为false ，则分隔符用于分隔标记。 令牌是不是分隔符的连续字符的最大序列。
如果标志为true ，则分隔符字符本身被视为标记。 因此，令牌是一个分隔符字符，或者是不是分隔符的连续字符的最大序列。
StringTokenizer对象在内部维护要标记化的字符串中的当前位置。 某些操作使当前位置超过处理的字符。
通过获取用于创建StringTokenizer对象的字符串的子字符串返回标记。
以下是使用标记化器的一个示例。 代码：
StringTokenizer st = new StringTokenizer("this is a test");
while (st.hasMoreTokens()) {
System.out.println(st.nextToken());
}
打印以下输出：
this
is
a
test
StringTokenizer是一个遗留类，出于兼容性原因而保留，但在新代码中不鼓励使用它。 建议任何寻求此功能使用split的方法String或java.util.regex包来代替。
以下示例说明了如何使用String.split方法将字符串拆分为其基本标记：
String[] result = "this is a test".split("\\s");
for (int x=0; x System.out.println(result[x]); 打印以下输出： this is a test