請問如何把讀到的文檔用空白鍵分割英文字串？

ray215018

我主要是 讀txt檔 把裡面的英文分開計算出現次數 再轉出一個txt檔
例如：I is apple
I  1
is  1
apple 1
讀取跟輸出txt檔都ok
就是在把文章分割字串有錯誤
本來想要判斷空白鍵做分割但是都沒成功
希望可以用成空白或是特殊符號都可以分割
請教各位大大我的程式是不是那裡有錯誤？

import java.io.*;
import java.util.*;
...

瀏覽完整內容，請先 註冊 或 登入會員

先用一個簡單的方式分解字串，主要是利用 String.split()方法，細節就麻煩自己查文件(查Java Doc很重要的)。

1.   public static void main(String[] args) {
   
2.     String test="This is a test string.";
   
3.     String[] parts=test.split("\\s");
   
4.     System.out.println(String.format("There are %s words in the test string.", parts.length));
   
5.   }

複製代碼

output

1. There are 5 words in the test string.

複製代碼

...

瀏覽完整內容，請先 註冊 或 登入會員

花了一點時間學習 StreamTokener，順便Debug一下程式，我的範例如下，不知道是否符合你的需求：

1. package sliptstring;
   
2. 
   
3. import java.io.IOException;
   
4. import java.io.StreamTokenizer;
   
5. import java.io.StringReader;
   
6. import java.util.ArrayList;
   
7. import java.util.Collections;
   
8. import java.util.Comparator;
   
9. import java.util.HashMap;
   
10. import java.util.List;
    
11. import java.util.Map;
    
12. import java.util.Map.Entry;
    
13. 
    
14. /**
    
15. *
    
16. * @author marken
    
17. */
    
18. public class SliptString {
    
19. 
    
20.   /**
    
21.    * @param args the command line arguments
    
22.    */
    
23.   public static void main(String[] args) throws IOException {
    
24.     String svalue = "There are two apples, three oranges\n\r and four tomatos.\n"
    
25.         + "The promble is '-' whether it is a token or not.";
    
26.     StreamTokenizer st = new StreamTokenizer(new StringReader(svalue));
    
27. 
    
28.     st.lowerCaseMode(true);
    
29.     //st.eolIsSignificant (true);
    
30.     st.ordinaryChar('.');
    
31. 
    
32.     Map<String, Integer> mapWords = new HashMap<>();
    
33.     out:
    
34.     while (true) {
    
35.       int ttype = st.nextToken();
    
36.       switch (ttype) {
    
37.         case StreamTokenizer.TT_EOF:
    
38.           break out; // 這一行才能正確的跳出 while 迴圈
    
39.         case StreamTokenizer.TT_WORD:
    
40.           // 取得Hashmap內累計的次數
    
41.           Integer numWords = mapWords.get(st.sval);
    
42.           numWords = (numWords == null ? 1 : ++numWords);
    
43.           // 存回次數
    
44.           mapWords.put(st.sval, numWords);
    
45.       }
    
46.     }
    
47.     // 依出現的次數排序, 遞減排序，最多次的最前面
    
48.     List<Map.Entry<String, Integer>> mapEntries = new ArrayList<>(mapWords.entrySet());
    
49.     Collections.sort(mapEntries,new Comparator<Map.Entry<String, Integer>>(){
    
50. 
    
51.       @Override
    
52.       public int compare(Entry<String, Integer> o1, Entry<String, Integer> o2) {
    
53.         return o2.getValue().compareTo(o1.getValue());
    
54.       }
    
55.     });
    
56.     // 印出結果
    
57.     for(Map.Entry<String, Integer> entry : mapEntries) {
    
58.       System.out.println(String.format("%s:%d", entry.getKey(),entry.getValue()));
    
59.     }
    
60.   }
    
61. }

複製代碼

...

瀏覽完整內容，請先 註冊 或 登入會員

ray215018

BlueMarken 發表於 2012-6-13 11:27 AM

下載: 訪客無法瀏覽下載點，請先 註冊 或 登入會員

花了一點時間學習 StreamTokener，順便Debug一下程式，我的範例如下，不知道是否符合你的需求： ...

謝謝大大 的確很符合 只是還有 讀取txt檔
...

瀏覽完整內容，請先 註冊 或 登入會員

ray215018 發表於 2012-6-13 03:39 PM

下載: 訪客無法瀏覽下載點，請先 註冊 或 登入會員

謝謝大大 的確很符合 只是還有 讀取txt檔
我是想把大大教的
String svalue = "There are two apples, thr ...

StreamTokenizer()建構時，直接丟bufReder就可以了。

1. String               fileName   = "test1.txt";
   
2.     BufferedReader       bufReader  = new BufferedReader (new FileReader (fileName));
   
3.     StreamTokenizer st = new StreamTokenizer(bufReader);

複製代碼

...

瀏覽完整內容，請先 註冊 或 登入會員

ray215018 發表於 2012-6-13 03:39 PM

下載: 訪客無法瀏覽下載點，請先 註冊 或 登入會員

謝謝大大 的確很符合 只是還有 讀取txt檔
我是想把大大教的
String svalue = "There are two apples, thr ...

StreamTokenizer()建構時，直接丟bufReder就可以了。
...

瀏覽完整內容，請先 註冊 或 登入會員

ray215018

BlueMarken 發表於 2012-6-13 08:11 PM

下載: 訪客無法瀏覽下載點，請先 註冊 或 登入會員

StreamTokenizer()建構時，直接丟bufReder就可以了。
參考：

大大 我剛剛改完之後 執行出來的結果又變成了 純單字而已
...

瀏覽完整內容，請先 註冊 或 登入會員

你要Parser的檔案，看來像 XML 檔案，你必須仔細的想想你的需求是什麼。
處理 xml 檔是另外一回事。

ray215018

BlueMarken 發表於 2012-6-13 10:44 PM

下載: 訪客無法瀏覽下載點，請先 註冊 或 登入會員

你要Parser的檔案，看來像 XML 檔案，你必須仔細的想想你的需求是什麼。
處理 xml 檔是另外一回事。
...

嗯 我還是讀txt檔 只是裡面可能會有似類xml格式
...

瀏覽完整內容，請先 註冊 或 登入會員

我測試過你貼上來的文字檔，可以執行喔，你要不要貼上你的錯誤訊息。
另外，我是用 JDK 7 去執行的(有用到新語法)。
另外，切字的方式，當然就要依你需求去調整。
附上部份的結果：

1. of:8
   
2. the:7
   
3. a:6
   
4. to:6
   
5. and:5
   
6. techniques:4
   
7. classification:4

複製代碼

...

瀏覽完整內容，請先 註冊 或 登入會員

ray215018

BlueMarken 發表於 2012-6-14 10:34 AM

下載: 訪客無法瀏覽下載點，請先 註冊 或 登入會員

我測試過你貼上來的文字檔，可以執行喔，你要不要貼上你的錯誤訊息。
另外，我是用 JDK 7 去執行的(有用到 ...

只是我用執行完變成這樣
...

瀏覽完整內容，請先 註冊 或 登入會員

ray215018

我就是把txt讀取 跟輸出的地方改過
但是跑出來的結果跟大大的不一樣

1. //package sliptstring;
   
2. import java.io.*;
   
3. import java.util.*;
   
4. import java.io.IOException;
   
5. import java.io.StreamTokenizer;
   
6. import java.io.StringReader;
   
7. import java.util.ArrayList;
   
8. import java.util.Collections;
   
9. import java.util.Comparator;
   
10. import java.util.HashMap;
    
11. import java.util.List;
    
12. import java.util.Map;
    
13. import java.util.Map.Entry;
    
14. 
    
15. /**
    
16. *
    
17. * @author marken
    
18. */
    
19. public class SliptString {
    
20. 
    
21.   /**
    
22.    * @param args the command line arguments
    
23.    */
    
24.   public static void main(String[] args) throws IOException {
    
25.    
    
26.    
    
27.     String               fileName   = "test2.txt";
    
28.     BufferedReader       svalue  = new BufferedReader (new FileReader (fileName));   
    
29.     StreamTokenizer      st    = new StreamTokenizer (svalue);
    
30. 
    
31.     st.lowerCaseMode(true);
    
32.     //st.eolIsSignificant (true);
    
33.     st.ordinaryChar('.');
    
34. 
    
35.     Map<String, Integer> mapWords = new HashMap<>();
    
36.     out:
    
37.     while (true) {
    
38.       int ttype = st.nextToken();
    
39.       switch (ttype) {
    
40.         case StreamTokenizer.TT_EOF:
    
41.           break out; // 這一行才能正確的跳出 while 迴圈
    
42.         case StreamTokenizer.TT_WORD:
    
43.           // 取得Hashmap內累計的次數
    
44.           Integer numWords = mapWords.get(st.sval);
    
45.           numWords = (numWords == null ? 1 : ++numWords);
    
46.           // 存回次數
    
47.           mapWords.put(st.sval, numWords);
    
48.       }
    
49.     }
    
50.     // 依出現的次數排序, 遞減排序，最多次的最前面
    
51.     List<Map.Entry<String, Integer>> mapEntries = new ArrayList<>(mapWords.entrySet());
    
52.     Collections.sort(mapEntries,new Comparator<Map.Entry<String, Integer>>(){
    
53. 
    
54.       @Override
    
55.       public int compare(Entry<String, Integer> o1, Entry<String, Integer> o2) {
    
56.         return o2.getValue().compareTo(o1.getValue());
    
57.       }
    
58.     });
    
59.     // 印出結果
    
60. BufferedWriter bw = new BufferedWriter
    
61.         (new FileWriter("test.txt"));
    
62. 
    
63.     for(Map.Entry<String, Integer> entry : mapEntries) {
    
64.       bw.write(String.format("%s:%d", entry.getKey(),entry.getValue())+"\r\n");
    
65.     }
    
66. bw.close();
    
67.   }
    
68. }

複製代碼

...

瀏覽完整內容，請先 註冊 或 登入會員

ray215018 發表於 2012-6-14 10:53 PM

下載: 訪客無法瀏覽下載點，請先 註冊 或 登入會員

我就是把txt讀取 跟輸出的地方改過
但是跑出來的結果跟大大的不一樣

我照你的程式跑，沒問題。我猜可能是環境的問題。
...

瀏覽完整內容，請先 註冊 或 登入會員

ray215018

BlueMarken 發表於 2012-6-15 07:50 PM

下載: 訪客無法瀏覽下載點，請先 註冊 或 登入會員

我照你的程式跑，沒問題。我猜可能是環境的問題。
我是用 jdk 7u5 ，你有檢查過你的環境? 另外，你的文 ...

的確是可以執行成功  感謝你
...

瀏覽完整內容，請先 註冊 或 登入會員

ray215018 發表於 2012-6-16 07:03 AM

下載: 訪客無法瀏覽下載點，請先 註冊 或 登入會員

的確是可以執行成功  感謝你
我原本是用 javac SliptString.java     java SliptString  做執行的動作

...

瀏覽完整內容，請先 註冊 或 登入會員