Judul	:	Ekstraksi aturan dari Jaringan Syaraf Tiruan menggunakan algoritma REANN dan C4.5
Abstrak	:

Jaringan syaraf tiruan (JST) telah berhasil diterapkan dalam berbagai bidang seperti ekonomi, keuangan, pengenalan pola, prediksi, optimisasi, kendali, pemrosesan sinyal digital ,kedokteran.

Namun para ahli tidak puas hanya dengan tingkat akurasi yang tinggi yang ditunjukkan JST. Karena cara penalaran yang digunakan JST untuk mencari jawaban tidak dapat dilakukan dengan cepat, ini memberikan bukti perlunya untuk mengekstrasi pengetahuan yang terdapat pada JST terlatih dan menunjukkannya secara simbolik untuk menjustifikasi output nya.

Dalam penelitian ini akan digunakan algoritma REANN (Rule extraction from Artificial Neural Networks) dan C4.5 untuk mengekstrak aturan dari JST Backpropagation. Untuk menguji tingkat akurasi metode tersebut, dilakukan pengujian terhadap data iris, kanker payudara, dan diabetes dari UCI Laboratory.

 

Latar Belakang                        :

Jaringan syaraf tiruan (JST) telah berhasil diterapkan dalam berbagai bidang seperti ekonomi, keuangan (Alexandra, et al, 1998), pengenalan pola, prediksi, optimisasi, kendali, pemrosesan sinyal digital (Choy & Ersoy, 2000),kedokteran (Lisboa & Taktak, 2006) dan (Schetinin & Brazhnikov,2000). Namun para ahli tidak puas hanya dengan tingkat akurasi yang tinggi yang ditunjukkan JST. Karena cara penalaran yang digunakan JST untuk mencari jawaban tidak dapat dilakukan dengan cepat, ini memberikan bukti perlunya untuk mengekstrasi pengetahuan yang terdapat pada JST terlatih dan menunjukkannya secara simbolik untuk menjustifikasi output nya. Pada umumnya seorang ahli mengambil keputusan berdasarkan argumen yang yang diekspresikan dalam bentuk kondisional. Mengekstraksi aturan “IF-THEN” dari jaringan terlatih untuk menjelaskan penarikan kesimpulan jawaban jaringan adalah teknik yang paling banyak digunakan. Dengan adanya aturan ini akan meningkatkan penerimaan ahli terhadap model koneksi yang lebih umum (Sarhan, et al, 2005).

Dalam beberapa tahun terakhir, banyak penelitian tentang ekstraksi aturan dari JST yang terlatih. Banyak metode yang muncul untuk mengekstraksi JST terlatih menjadi aturan “IF THEN” (Campos & Ludermir, 2005). Ekstraksi aturan dari JST terlatih, tidak hanya pada sistem KBANN, namun juga dilakukan pada sistem pakar yang menggunakan JST untuk melakukan akuisisi pengetahuan. JST yang telah dilatih dengan sekumpulan data lalu diekstrak pengetahuannya dalam bentuk aturan IF-THEN dan kemudian dijadikan sebagai basis pengetahuan sistem pakar. Beberapa algoritma untuk mengekstraksi aturan dari JST terlatih telah diterapkan, antara lain : NeoroRule oleh Setiono (1996), FERNN (Fast Extraction of Rules from Neural Networks ) oleh Setiono dan Leow (2000), REANN (Rule extraction from Artificial Neural Networks)  oleh Kamruzzaman dan Islam  (2005),  Literal dan ProRulext oleh Campos, dan Ludermir (2005), FCANN (Formal Concept Analysis Neural Networks ) oleh Dias, et al (2008), AIS (Artificial immune systems) oleh Kahramanli dan Allahverdi (2009), TREPAN oleh Weckman, et al (2010),  LREX pada JST DCS (Dynamic cell structure) oleh Sheikhan dan Khalili (2010),REBC (Rule extraction from ANN based on Clustering) oleh Ma et al(2009), RULEX oleh Shen dan Wang  (2010), REFANN oleh Setiono (2010).

Dalam penelitian ini akan dikembangkan suatu metode ekstraksi aturan yang merupakan modifikasi dari algoritma REANN yang dikembangkan Kamruzzaman dan Islam (2005).

Pada penelitian Kamruzzaman dan Islam (2005), REANN diterapkan pada beberapa masalah klasifikasi seperti kanker payudara, iris mata, diabetes. Dan menunjukkan keefektifan dari penggunaan algoritma tersebut dengan hasil yang secara umum baik. Pada penelitian tersebut, REANN menunjukkan tingkat akurasi yang lebih baik dari pada C4.5, NN Rules, CART, dan OC1. REANN yang diusulkan Kamruzzaman terdiri dari enam langkah, yaitu : pertama, membuat arsitektur JST awal; kedua, melakukan pemotongan (pruning) jaringan terhadap node yang tidak penting; ketiga, diskritisasi nilai keluaran node hidden; keempat, membuat aturan dengan algoritma Rex; kelima, menghilangkan aturan yang redundan; keenam, mengevaluasi aturan, jika akurasi tidak baik, ulangi ke langkah kelima

Dalam penelitian ini modifikasi terhadap algoritma REANN dilakukan dengan menggunakan algoritma C4.5 untuk menggantikan algoritma Rex dalam membuat aturan. Untuk menguji metode tersebut, dalam penelitian ini digunakan suatu data pengujian yang diambil dari UCI repositori, yaitu data Iris, Diabetes, dan Kanker payudara.

Tujuan Riset    :

Mengembangkan metode ekstraksi aturan JST menggunakan algoritma REANN dan C4.5.

Keutamaan Riset         :

Pada saat ini telah banyak dikembangkan algoritma untuk ekstraksi aturan dari JST terlatih, diantaranya adalah REANN. Tahap akhir algoritma REANN adalah pembentukan aturan menggunakan algoritma Rex yang bersifat heuristik. Sementara itu, terdapat Algoritma C4.5 yang merupakan salah satu algoritma pembentuk aturan berbasis pohon keputusan yang telah banyak digunakan dengan hasil yang baik.

Pada penelitian ini akan digunakan algoritma C4.5 untuk menggantikan algoritma Rex untuk pembentukan aturan, yang merupakan tahap akhir pada algoritma REANN.

 

Daftar Pustaka                        :

 

Fausett, L., 1994, Fundamentals of neural networks : architectures, algorithms, and applications, Prentice-Hall, Inc, New Jersey

Larose, D.T. (2005). Discovering Knowledge in Data: an Introduction to Data Mining. John Wiley and Sons, USA

Turban, E., Aronson, J.E., Liang, T.P., 2005, Decision Support Systems and Intelligent Systems, Penerbit Andi, Yogyakarta

Alexandra, C., Cristea, P., Okamoto, T., 1998, Neural Network Knowledge Extraction Rev.Roum.Sci.Techn. – Électrotechn.et Énerg.,43, 1 , p. , Bucharest

Bae, J.K., Kim., J., 2011, Combining models from neural networks and inductive learning algorithms, Expert Systems with Applications (2011) Volume: 38, Issue: 5, Publisher: Elsevier Ltd, Pages: 4839-4850

Berry, M.J.A., Linoff, G.S. (2004). Data Mining Techniques For Marketing, Sales, and Customer Relationship Management Second Edition. Wiley Publishing, Inc. Indianapolis, Indiana

Chiou, Y.C., 2006, An artificial neural network-based expert system for the appraisal of two-car crash accidents, Accident Analysis and Prevention 38 (2006) 777–785

Choe, W., Ersoy, O.K., 2000, Detection of Rare Events and Rule Extraction by Neural Networks and Decision Trees, ECE Technical Reports. Paper 18.

Craw, S. (2005). Case Based Reasoning : Lecture 3: CBR Case-Base Indexing.Diakses pada 1 Mei 2011 dari www. comp.rgu.ac.uk/staff/smc/teaching/cm3016/Lecture-3-cbr-indexing.ppt

Dias, S.M., Nogueira, B.M., Z´arate, L.E., 2008, Adaptation of FCANN Method to Extract and Represent Comprehensible Knowledge from Neural Networks, New Chall. in Appl. Intel. Tech., SCI 134, pp. 163–172

Goyal, R.D., 2007,   Knowledge Based Neural Network for Text Classification, IEEE International Conference on Granular Computing

Hannan, S.A., Baghile, V.D., Manza, R.R., Ramteke, R.J.,  2010, Diagnosis and Medical Prescription of Heart Disease Using Support Vector Machine and Feedforward Backpropagation Technique, (IJCSE) International Journal on Computer Science and Engineering Vol. 02, No. 06, 2010, 2150-2159

Hudson, B.D., Whitley, D.C., Browne, A., Forda, M.G., 2005, Extraction of Comprehensible Logical Rules from Neural Networks : Application of TREPAN in Bio and Chemoinformatics, Croatica Chemica Acta, CCACAA 78 (4) :561

Jouyban, A., Soltani, S., Zeynali, K.A., 2007, Solubility Prediction of Drugs in Supercritical Carbon Dioxide Using Artificial Neural Network, Iranian Journal of Pharmaceutical Research (2007), 6 (4): 243-250

Kahramanli, H., Allahverdi, N., 2009, Rule extraction from trained adaptive neural networks using artificial immune systems, Expert Systems with Applications 36 , 1513–1522

Kai, S., Hui-ping, N., 2009, Research of Pathology Expert System Based on Artificial Neural Network, International Forum on Computer Science-Technology and Applications

Kamruzzaman, S.M., Islam, M.M., 2005, Extraction of Symbolic Rules from ANN, Proceedings of World Academy of science, Engineering and Technology Volume 10 Desember 2005 ISSN 1307-6884

Kim, H.S., Koc, M., Ni, J., 2007, A hybrid multi-fidelity approach to the optimal design of warm forming processes using a knowledge-based artificial neural network, International Journal of Machine Tools & Manufacture 47 (2007) 211–222

Maclin, R., Shavlik, J.W., 1993, Using Knowledge-Based Neural Networks to Improve Algorithms: Refining the Chou-Fasman Algorithm for Protein Folding, Machine Learning, 11, 195-215

Malone, J., McGarry, K., Wermter, S., Bowerman, C., 2005, Data mining using rule extraction from Kohonen self-organising maps, Neural Comput & 15: 9–17

Mendyk, A., Jachowicz, R., 2010, Decision Support Systems for Pharmaceutical Formulation Development Based on Artificial Neural Networks, Decision Support Systems, Intech, Croatia

Ozbakir, L., Baykasoğlu, A., Kulluk, S., 2010, Rule extraction from artificial neural networks to discover causes of quality defects in fabric production, Neural Computing and Applications, Springer-Verlag London Limited

Rajanikanth , M., Hussain , M.A., 2011, Diagnosis and Medical Prescription of Diabetes Using Support Vector Machine and Feedforward Backpropagation Technique, International Journal of Research and Reviews in Artificial Intelligence (IJRRAI) Vol. 1, No. 2, June 2011 ISSN: 2046-5122

            Serpen, G., Tekkedil, D.K., 2008, A knowledge-based artificial neural network classifier for pulmonary embolism diagnosis, Journal Computers in Biology and Medicine Volume 38 Issue 2

Setiono, R., 1995, A penalty function approach for pruning feedforward neural networks, Neural Computation, 8, 1, 185-204.

Setiono, R., Leow, W.K., 2000, FERNN: An Algorithm for Fast Extraction of Rules from Neural Networks, Applied Intelligence 12, 15–25, Kluwer Academic Publishers. Manufactured in The Netherlands

Silva, A.A., Gerhardt, G.J.L., Echeverrigaray, S., 2011, Rules extraction from neural networks applied to the prediction and recognition of prokaryotic promoters, Genetics and Molecular Biology, 34, 2, 353-360

Springer-Verlag Berlin Heidelberg

Sratthaphut,L., Phaechamud,T., 2011, Prediction of drug dissolution and hardness of indomethacin tablets using artificial neural networks and partial least-squares, Research Journal of Pharmaceutical, Biological and Chemical Sciences

Srivastava, L., Singh, S.N., Sharma, J., 1999, Knowledge Based Neural Network for Voltage Contingency Selection and Ranking, IEEE Proc.-Gener. Transm. Distrib., Vol 146

Steiner, M.T.A., Neto, P.J.S., Soma, N.Y., Shimizu, T., Nievola, J.C., 2006, Using Neural Network Rule Extraction for Evaluation Credit-Risk Evaluation,  IJCSNS Vol 6 No 5A

Towell, G.G., Shavlik, J.W., 1994, Knowledge-Based Artificial Neural Networks, Appears in Artificial Intelligence, volume 69 or 70

Sheikhan, M., Khalili, A., 2009, Rule Extraction from Dynamic Cell Structure Neural Networks, World Applied Sciences Journal 7 (Special Issue of Computer & IT): 54-58

Ushaa, S.M., Madhavilatha, M., Rao, G.M. 2011,  Modified Neural Network Architecture based Expert System for Automated Disease Classification and Detection using PCA Algorithm, International Journal of Engineering Science and Technology (IJEST), Vol. 3 No. 9

Weckman G.R., Millie D., Ganduri, C., Rangwala, M., Young, W., Rinder, M., Fahnenstiel G.L., 2009, Knowledge Extraction from the Neural ‘Black Box’ in Ecological Monitoring, Journal of Industrial and Systems Engineering Vol. 3, No. 1, pp 38-55

Yu, L., Wang, L., Yu, J., , Identification of product definition patterns in mass customization using a learning-based hybrid approach, The International Journal of Advanced Manufacturing Technology Volume 38, Numbers 11-12, 1061-1074, DOI: 10.1007/s00170-007-1152-3

Campos, P.G., Ludermir, T.B., 2005, Literal and ProRulext : Algorithms for Rule Extraction of ANNs, Proceedings of the 5th International Conference on Hybrid Inteligence Systems

Fahlman, S. E., 1988, An Empirical Study of Learning Speed in Back-Propagation Networks, Proceedings of the 1988 Connectionist Models Summer School. Pittsburgh.

Franco, L., Subirats, J.L., Molina, I., Alba, E., Jerez, J.M., 2007, Early Breast Cancer Prognosis Prediction and Rule Extraction Using a New Constructive Neural Network Algorithm,

Hongchun, Y., Fanlun, X., Chao, D., 2000, Neural Network Method  for Extraction Evaluation Rules of Soil Fertility, Project of National Natural Foundations of China

Kolman, E., Margaliot, M., 2005, Knowledge Extraction from Neural Networks using the All-Pemutations Fuzzy Rule Base , The 8th International Work-Conference on Artificial Neural Networks (IWANN 2005)

Lisboa, P.J., Taktak, A.F.G., 2006, The Use of Artificial Neural Networks in Decision Suport in Cancer, Neural Networks 19 (2006) 408-415

Liu, H. dan Tan, S. T., 1995, X2R: A Fast Rule Generator, Proceedings of IEEE International Conference on Systems, Man and Cybernetics, Vancouver

Liu, Y., Liu, H. , Zhang, B., Wu, G., 2004, Extraction If-Then Rules from Trained Neural Network and Its Application to Earthquake Prediction, Proceedings of the Third IEEE International Conference on Cogitive Informatics

Lu, H., Setiono, R. dan Liu, H., 1995, Neuro Rule: A Connectionist Approach to Data Mining, Proceedings of the 21th International Conference on Very Large Data Bases, Zurich

Ma, J. Guo, D., Liu, M., Ma, Y., Chen, S., 2009, Rules Extraction from ANN Based on Clustering, International Conference on Computational Intelligence and Natural Computing

Markowska-Kaczmar, U., 2005, The Influence of Parameters in Evolutionary Based Rule Extraction Method from Neural Network, Proceedings of the 2005 5th International Conference on Inteligence Systems Design and Applications

Milare, C. R., Carvalho, A. C.P.L.F., Monard, M.C.,  2001, Extracting Rules from  Neural Networks using Symbolic Algorithms : Preliminary Results, Proceedings of 4th International Conference on Computational Inteligence and Multimedia Applications

Nikolov, V., Bogdanov, V., 2010, Integration of Neural Networks and Expert Systems for Time Series, International Conference on Computer Systems and Technologies – CompSysTech’10

Omlina, C.W., Snydersb, S., 2003, Inductive bias strength in knowledge-based neural networks: application to magnetic resonance spectroscopy of breast tissues,

Rutkowska, D., 2005, IF-THEN rules in neural networks for classification, Proceedings of the 2005 International Conference on Computational Intelligence for Modelling, Control and Automation, and International Conference on Intelligent Agents, Web Technologies and Internet Commerce (CIMCA-IAWTIC’05)

Sarhan, A.M., Abd El-Wahed, W.F., Danf, T.E., Tokhy, M. M., 2005, Developing a Rule Extraction Methodology for Expert Sytems Based Artificial Neural Network Ensembles,

Setiono, R., Tanaka, M., 2010, Neural network rule extraction and the LED display recognition problem, 22nd International Conference on Tools with Artificial Intelligence

Shen, J., Wang, L., 2010, Configuration Rules Acquisition for Product Extension Services Using Local Cluster Neural Network and RULEX Algorithm, International Conference on Artificial Intelligence and Computational Intelligence

Xiao, L., Sun, D., Liu, Y., Huang, Y., 2010, A Combined Method Based on Expert System and BP Neural Network for UAV Systems Fault Diagnosis, International Conference on Artificial Intelligence and Computational Intelligence

Yuan, C., Wang, W. 2010,  Approach of Knowledge Acquisition Based on Artificial Neural Network in Product Design Process, Chen, J., Li, P., International Conference on Intelligent Computation Technology and Automation

Zhou, Z., 2003, Rule Extraction: Using Neural Networks or For Neural Networks?, National Laboratory for Novel Software Technology, Nanjing University, Nanjing 210093, China

 

Pengalaman Penelitian           :

No.	Tahun	Judul Penelitian	Pendanaan
			Sumber	Jml (Juta Rp)
1	2007	Asosiaif Data Mining pada super market menggunakan algoritma apriori	Jurusan	7
2	2008	Algoritma ProRulext dan Literal untuk ekstrasi aturan JST	Masyarakat	10
3	2009	Perbandingan JST dan Algoritma REANN	Masyarakat	15
4	2011	Penggabungan JST LVQ dan CBR untuk penentuan kelayakan lokasi usaha	Masyarakat	10