Miyazawa’s Pukiwiki
C4.5
はすでに存在します。
開始行:
#access
#analog
*C4.5による決定木学習 [#q7523980]
-[[C4.5:http://ja.wikipedia.org/wiki/C4.5]] を使って[[決...
-参考
--[[C4.5について:http://www.f.waseda.jp/kikuchi/tips/c4.5...
--(教科書)J.R.キンラン(著)，古川康一(監訳)，AIによるデー...
--[[C4.5 example:http://www.eva.ie.u-ryukyu.ac.jp/~tnal/J...
***インストール [#bc96ba2f]
-[[C4.5について:http://www.f.waseda.jp/kikuchi/tips/c4.5....
***データを作る [#z03a679f]
-[[Wikipediaのサンプル:http://ja.wikipedia.org/wiki/%E6%B...
--カテゴリーおよびパラメータ指定ファイル(golf.names)
do, don't. | 従属変数、ゴルフを...
weather : fine, cloudy, rain. | 独立変数、天気（3カ...
temperature : continuous. | 独立変数、気温（連...
humidity : continuous. | 独立変数、湿度（連...
wind : y, n. | 独立変数、風が強い...
---最後の行は改行すること（以下同様）
--学習データ(golf.data)
fine,29,85,n,don't
fine,27,90,y,don't
cloudy,28,78,n,do
rain,21,96,n,do
rain,20,80,n,do
rain,18,70,y,don't
cloudy,18,65,y,do
fine,22,95,n,don't
fine,21,70,n,do
rain,24,80,n,do
fine,24,70,y,do
cloudy,22,90,y,do
cloudy,27,75,n,do
rain,22,80,y,don't
---データには欠損があってもいいようで、その場合は「?」と...
--テストデータ(golf.test)
rain,22,70,y,do
fine,24,70,y,don't
---これは適当に作った。モデルの精度の評価に使うものなので...
***実行 [#i3153d6d]
-決定木を作る
$ c4.5 -f golf
--以下が出力される。
C4.5 [release 8] decision tree generator Wed Jul ...
----------------------------------------
Options:
File stem <golf>
Read 14 cases (4 attributes) from golf.data
Decision Tree:
weather = cloudy: do (4.0)
weather = fine:
| humidity <= 75 : do (2.0)
| humidity > 75 : don't (3.0)
weather = rain:
| wind = y: don't (2.0)
| wind = n: do (3.0)
Tree saved
Evaluation on training data (14 items):
Before Pruning After Pruning
---------------- ---------------------------
Size Errors Size Errors Estimate
8 0( 0.0%) 8 0( 0.0%) (38.5%) ...
---この結果は以下のように解釈できる。((J.R.キンラン(著)，...
#geshi(perl){{
if 天気が曇り
* ゴルフをする *
else if 天気が晴れ
if 湿度が75以下
* ゴルフをする *
else if 湿度が75より上
* ゴルフをしない *
end
else if 天気が雨
if 風が強い
* ゴルフをしない *
else if 風が弱い
* ゴルフをする *
end
end
}}
---[[Wikipediaの決定木:http://ja.wikipedia.org/wiki/%E3%8...
---「weather = cloudy: do (4.0)」などのカッコの中身は、''...
---Decision Tree が複雑だった場合（？）は、Simplified Dec...
---「Evaluation on training data」以下は、学習データに対...
-決定木を作る＆テストデータに対する評価
$ c4.5 -f golf -u
--上記の学習結果に加えて、以下が出力される。
Evaluation on test data (2 items):
Before Pruning After Pruning
---------------- ---------------------------
Size Errors Size Errors Estimate
8 2(100.0%) 8 2(100.0%) (38.5%)...
(a) (b) <-classified as
---- ----
1 (a): class do
1 (b): class don't
---「Evaluation on test data」以下はテストデータを決定木...
---「(a) (b)」以下は正誤行列。一行目は「クラスdoのデータ...
-学習されたルールを見る
$ c4.5rules -f golf
--以下が出力される。
C4.5 [release 8] rule generator Wed Jul 27 13:46:18 2011
-------------------------------
Options:
File stem <golf>
Read 14 cases (4 attributes) from golf
------------------
Processing tree 0
Final rules from tree 0:
Rule 2:
weather = cloudy
-> class do [70.7%]
Rule 4:
weather = rain
wind = n
-> class do [63.0%]
Rule 1:
weather = fine
humidity > 75
-> class don't [63.0%]
Rule 3:
weather = rain
wind = y
-> class don't [50.0%]
Default class: do
Evaluation on training data (14 items):
Rule Size Error Used Wrong Advantage
---- ---- ----- ---- ----- ---------
2 1 29.3% 4 0 (0.0%) 0 (0|0) do
4 2 37.0% 3 0 (0.0%) 0 (0|0) do
1 2 37.0% 3 0 (0.0%) 3 (3|0) ...
3 2 50.0% 2 0 (0.0%) 2 (2|0) ...
Tested 14, errors 0 (0.0%) <<
(a) (b) <-classified as
---- ----
9 (a): class do
5 (b): class don't
---これは前述の決定木を、人間が理解しやすいルールの形で表...
---例えば「Rule 4」は、「天気が雨で風が強くなければゴルフ...
---'''ルール番号は、特に意味はなく、元の木の葉の順序から...
---「Evaluation on training data」以下は各ルールの成績で...
-テストデータも加えて学習されたルールを見る
$ c4.5rules -f golf -u
--上に加えて以下が出力される。
Evaluation on test data (2 items):
Rule Size Error Used Wrong Advantage
---- ---- ----- ---- ----- ---------
3 2 50.0% 1 1 (100.0%) -1 (0|1) ...
Tested 2, errors 2 (100.0%) <<
(a) (b) <-classified as
---- ----
1 (a): class do
1 (b): class don't
-決定木による分類
$ consult -f golf
***交差検定 [#e623f2e3]
-C4.5付属の xval.sh で交差検定用のデータセットを生成でき...
終了行:
#access
#analog
*C4.5による決定木学習 [#q7523980]
-[[C4.5:http://ja.wikipedia.org/wiki/C4.5]] を使って[[決...
-参考
--[[C4.5について:http://www.f.waseda.jp/kikuchi/tips/c4.5...
--(教科書)J.R.キンラン(著)，古川康一(監訳)，AIによるデー...
--[[C4.5 example:http://www.eva.ie.u-ryukyu.ac.jp/~tnal/J...
***インストール [#bc96ba2f]
-[[C4.5について:http://www.f.waseda.jp/kikuchi/tips/c4.5....
***データを作る [#z03a679f]
-[[Wikipediaのサンプル:http://ja.wikipedia.org/wiki/%E6%B...
--カテゴリーおよびパラメータ指定ファイル(golf.names)
do, don't. | 従属変数、ゴルフを...
weather : fine, cloudy, rain. | 独立変数、天気（3カ...
temperature : continuous. | 独立変数、気温（連...
humidity : continuous. | 独立変数、湿度（連...
wind : y, n. | 独立変数、風が強い...
---最後の行は改行すること（以下同様）
--学習データ(golf.data)
fine,29,85,n,don't
fine,27,90,y,don't
cloudy,28,78,n,do
rain,21,96,n,do
rain,20,80,n,do
rain,18,70,y,don't
cloudy,18,65,y,do
fine,22,95,n,don't
fine,21,70,n,do
rain,24,80,n,do
fine,24,70,y,do
cloudy,22,90,y,do
cloudy,27,75,n,do
rain,22,80,y,don't
---データには欠損があってもいいようで、その場合は「?」と...
--テストデータ(golf.test)
rain,22,70,y,do
fine,24,70,y,don't
---これは適当に作った。モデルの精度の評価に使うものなので...
***実行 [#i3153d6d]
-決定木を作る
$ c4.5 -f golf
--以下が出力される。
C4.5 [release 8] decision tree generator Wed Jul ...
----------------------------------------
Options:
File stem <golf>
Read 14 cases (4 attributes) from golf.data
Decision Tree:
weather = cloudy: do (4.0)
weather = fine:
| humidity <= 75 : do (2.0)
| humidity > 75 : don't (3.0)
weather = rain:
| wind = y: don't (2.0)
| wind = n: do (3.0)
Tree saved
Evaluation on training data (14 items):
Before Pruning After Pruning
---------------- ---------------------------
Size Errors Size Errors Estimate
8 0( 0.0%) 8 0( 0.0%) (38.5%) ...
---この結果は以下のように解釈できる。((J.R.キンラン(著)，...
#geshi(perl){{
if 天気が曇り
* ゴルフをする *
else if 天気が晴れ
if 湿度が75以下
* ゴルフをする *
else if 湿度が75より上
* ゴルフをしない *
end
else if 天気が雨
if 風が強い
* ゴルフをしない *
else if 風が弱い
* ゴルフをする *
end
end
}}
---[[Wikipediaの決定木:http://ja.wikipedia.org/wiki/%E3%8...
---「weather = cloudy: do (4.0)」などのカッコの中身は、''...
---Decision Tree が複雑だった場合（？）は、Simplified Dec...
---「Evaluation on training data」以下は、学習データに対...
-決定木を作る＆テストデータに対する評価
$ c4.5 -f golf -u
--上記の学習結果に加えて、以下が出力される。
Evaluation on test data (2 items):
Before Pruning After Pruning
---------------- ---------------------------
Size Errors Size Errors Estimate
8 2(100.0%) 8 2(100.0%) (38.5%)...
(a) (b) <-classified as
---- ----
1 (a): class do
1 (b): class don't
---「Evaluation on test data」以下はテストデータを決定木...
---「(a) (b)」以下は正誤行列。一行目は「クラスdoのデータ...
-学習されたルールを見る
$ c4.5rules -f golf
--以下が出力される。
C4.5 [release 8] rule generator Wed Jul 27 13:46:18 2011
-------------------------------
Options:
File stem <golf>
Read 14 cases (4 attributes) from golf
------------------
Processing tree 0
Final rules from tree 0:
Rule 2:
weather = cloudy
-> class do [70.7%]
Rule 4:
weather = rain
wind = n
-> class do [63.0%]
Rule 1:
weather = fine
humidity > 75
-> class don't [63.0%]
Rule 3:
weather = rain
wind = y
-> class don't [50.0%]
Default class: do
Evaluation on training data (14 items):
Rule Size Error Used Wrong Advantage
---- ---- ----- ---- ----- ---------
2 1 29.3% 4 0 (0.0%) 0 (0|0) do
4 2 37.0% 3 0 (0.0%) 0 (0|0) do
1 2 37.0% 3 0 (0.0%) 3 (3|0) ...
3 2 50.0% 2 0 (0.0%) 2 (2|0) ...
Tested 14, errors 0 (0.0%) <<
(a) (b) <-classified as
---- ----
9 (a): class do
5 (b): class don't
---これは前述の決定木を、人間が理解しやすいルールの形で表...
---例えば「Rule 4」は、「天気が雨で風が強くなければゴルフ...
---'''ルール番号は、特に意味はなく、元の木の葉の順序から...
---「Evaluation on training data」以下は各ルールの成績で...
-テストデータも加えて学習されたルールを見る
$ c4.5rules -f golf -u
--上に加えて以下が出力される。
Evaluation on test data (2 items):
Rule Size Error Used Wrong Advantage
---- ---- ----- ---- ----- ---------
3 2 50.0% 1 1 (100.0%) -1 (0|1) ...
Tested 2, errors 2 (100.0%) <<
(a) (b) <-classified as
---- ----
1 (a): class do
1 (b): class don't
-決定木による分類
$ consult -f golf
***交差検定 [#e623f2e3]
-C4.5付属の xval.sh で交差検定用のデータセットを生成でき...
ページ名:
既存のページ名で編集する
