Dự báo nhu cầu sử dụng mạng Nơ-ron nhân tạo dựa trên các phương pháp học khác nhau: phân tích so sánh

Để đạt được lợi thế cạnh tranh thương mại trong một môi trường kinh doanh thay đổi liên tục, dự báo nhu cầu là rất quan trọng cho một tổ chức để đưa ra quyết định đúng về sản xuất và quản lý hàng tồn kho. Mục tiêu của nghiên cứu này là để đề xuất một kỹ thuật dự báo được mô hình hóa bằng các phương pháp thông minh nhân tạo sử dụng các mạng nơron nhân tạo. Hiệu quả của phương pháp đề xuất cho vấn đề dự báo nhu cầu được đã chứng minh bằng cách sử dụng dữ liệu thực tế từ một công ty đang hoạt động trong công nghiệp van sản xuất tại Mumbai. Một phân tích so sánh các phương pháp đào tạo khác nhau của mạng lưới thần kinh được đưa sử dụng các kết quả thu được từ mô hình dự báo nhu cầu

Tên bài tập nhóm: Dự báo nhu cầu sử dụng mạng Nơ-ron nhân tạo dựa trên các phương pháp học khác nhau: phân tích so sánh

(Tên tiếng Anh) Demand forecasting Using Artificial Neural Network Based on Different Learning Methods: Comparative Analysis

1 Các thành viên trong nhóm 1B

 Dương Quang Châu (nhóm trưởng)

 Ngô Đình Hải

 Nguyễn Viết Cường

 Hồ Nguyễn Thành Nhân

2 Nội dung tóm tắt

2.1 Ý tưởng

Để đạt được lợi thế cạnh tranh thương mại trong một môi trường kinh doanh thay đổi liên tục,

dự báo nhu cầu là rất quan trọng cho một tổ chức để đưa ra quyết định đúng về sản xuất và quản lý hàng tồn kho.

Mục tiêu của nghiên cứu này là để đề xuất một kỹ thuật dự báo được mô hình hóa bằng các phương pháp thông minh nhân tạo sử dụng các mạng nơron nhân tạo Hiệu quả của phương pháp đề xuất cho vấn đề dự báo nhu cầu được đã chứng minh bằng cách sử dụng dữ liệu thực tế từ một công

ty đang hoạt động trong công nghiệp van sản xuất tại Mumbai Một phân tích so sánh các phương pháp đào tạo khác nhau của mạng lưới thần kinh được đưa sử dụng các kết quả thu được từ mô hình

dự báo nhu cầu

2.2 Mô hình

Mô hình Nơ-ron không tuyến tính ( Courtesy: Haykin, 1994.) Thành phần cơ bản của mạng ANN là nơ-ron Mô hình của nơ-ron được chỉ ra ở hình 1 (Haykin, 1994) Biểu thức toán học được mô tả ở phương trình (1) và (2):

uk  p j1w xkj j (1)

y   u   (2)

Trong đó x1,x2, ,xp là các tín hiệu đầu vào; wk1,wk2, wkp là các trọng số tiếp hợp của nơ-ron k, và uk là bộ kết hợp tuyến tính đầu ra với Ɵk biểu thị ngưỡng cho phép Φ là phương trình kích hoạt; yk là tín hiệu đầu ra của nơ-ron (Haykin, 1994)

2.3 Ví dụ / Cài đặt / Mô phỏng

No of

nodes

Mean Square Error

Biểu đồ biểu diễn

Bảng 2 Xác định số tối ưu của các Nơ-ron

● Chạy chương trình sử dụng hàm trainlm và tối ưu số node ẩn của lớp ẩn để thu được kết quả huấn luyện hoặc hiệu suất phương sai tốt.

● Với giá trị node ẩn đó, chạy chương trình với các thuật toán học khác nhau, như TRAINLM, TRAINGD, TRAINGDA.

● Lập bảng cho dữ liệu kiểm tra, đó là số lượng thực và kết quả dự báo Tìm phương sai tuyệt đối.

● So sánh phương sai tuyệt đối của tất cả các phương pháp trên.

Sử dụng phương pháp TRAINLM, số nơ-ron tối ưu được tính toán Bảng 2 chỉ ra Phương sai đối với

số nơ-ron khác nhau và được xác định là MSE < 20 nơ-ron Bằng cách sử dụng nhiều phương pháp kiểm thử và lỗi, giá trị tốt nhất được lựa chọn như sau:

Số nơ-ron ở lớp ẩn = 20

Tốc độ học = 1.0

Động lượng = 0.8

Số epoch = 1000

2.4 Đanh giá / Ưu – Nhược điểm

Nghiên cứu này là tìm hiểu sự hiệu quả của dự báo nhu cầu trong chuỗi cung ứng với phương pháp mạng nơ-ron nhân tạo (ANN) và xác định phương pháp tốt nhất Nghiên cứu này đã phát triển phương thức dự báo so sánh dựa trên ANN và các phương pháp khác Để minh họa cho sự hiệu quả

của lý thuyết này, nghiên cứu được thực hiện cho công ty sản xuất van Kết quả đánh giá chỉ ra rằng phương pháp TRAINLM hiệu quả hơn so với những phương pháp khác trong việc ước lượng các dự báo.

Khả năng nâng cao độ chính xác của dự báo sẽ có ưu điểm làm giảm chi phí và tăng thỏa mãn khách hàng do phân phối kịp thời Lý thuyết đề xuất này có thể được xem như là một công cụ hỗ trợ quyết định thành công trong dự báo nhu cầu khách hàng Những nghiên cứu tiếp theo trong tương lai sẽ tìm hiểu các loại mạng ANN khác trong việc đưa ra các dự báo chính xác hơn.

3 Nội dung dịch

Phần tiếng Anh copy từ bài báo Phần dịch sang tiếng Việt

I INTRODUCTION

Demand and sales forecasting is one of the most

important functions of manufacturers, distributors, and

trading firms Keeping demand and supply in balance,

they reduce excess and shortage of inventories and

improve profitability When the producer aims to fulfil

the overestimated demand, excess production results in

extra stock keeping which ties up excess inventory On

the other hand, underestimated demand causes

unfulfilled orders, lost sales foregone opportunities and

reduce service levels Both scenarios lead to inefficient

supply chain Thus, the accurate demand forecast is a

real challenge for participant in supply chain.(A.A

Syntetos et al.,2010)

The ability to forecast the future based on past data is a

key tool to support individual and organizational

decision making In particular, the goal of Time Series

Forecasting (TSF) is to predict the behavior of complex

systems by looking only at past patterns of the same

phenomenon.( J.H Friedman et al.,1991) Forecasting is

an integral part of supply chain management Traditional

forecasting methods suffer from serious limitations

which affect the forecasting accuracy Artificial neural

network (ANN) algorithms have been found to be useful

techniques for demand forecasting due to their bility to

accommodate non- linear data, to capture subtle

functional relationships among empirical data, even

where the underlying relationships are unknown or hard

to describe (P.C Chang et al.,2006 ), (R Fildes et

al.,2008) Demand analysis for a valve manufacturing

industry which typically represents an make to order

industry has been carried out using neural network based

on different training methods and a comparative study

has been presented

Section 2 presents a critical view of past work on

forecasting studies in SC and the use of ANN in demand

I GIỚI THIỆU

Nhu cầu và dự báo doanh số bán hàng là một trong những chức năng quan trọng nhất của nhà sản xuất, nhà phân phối,

và các công ty kinh doanh Giữ cung cầu cân bằng, chúng làm giảm dư thừa và thiếu hụt hàng tồn kho và nâng cao lợi nhuận Khi nhà sản xuất nhằm đáp ứng nhu cầu, kết quả sản xuất dư thừa đánh giá quá cao ở phụ giữ cổ phiếu mà quan

hệ hàng tồn kho dư thừa Mặt khác, đánh giá nhu cầu thấp gây ra các đơn đặt hàng chưa được thực hiện, bỏ qua mất cơ hội bán hàng và làm giảm mức dịch vụ Cả hai tình huống dẫn đến chuỗi cung ứng hiệu quả Như vậy, dự báo nhu cầu chính xác là một thách thức thật sự cho người tham gia trong chuỗi cung ứng (AA Syntetos et al., 2010)

Khả năng dự báo tương lai dựa trên dữ liệu quá khứ là một công cụ quan trọng để hỗ trợ việc ra quyết định cá nhân và

tổ chức Cụ thể, mục tiêu của chuỗi thời gian dự báo (TSF)

là để dự đoán hành vi của các hệ thống phức tạp bằng cách chỉ nhìn vào khuôn mẫu quá khứ của cùng một hiện tượng (JH Friedman et al., 1991) dự báo là một phần của quản lý chuỗi cung ứng Phương pháp dự báo truyền thống bị hạn chế nghiêm trọng làm ảnh hưởng đến độ chính xác dự báo Mạng nơron nhân tạo (ANN) thuật toán đã được tìm thấy là

kỹ thuật hữu ích cho nhu cầu dự báo do khả năng của họ để chứa dữ liệu phi tuyến, để nắm bắt các mối quan hệ chức năng tinh tế giữa các dữ liệu thực nghiệm, kể cả trường hợp các mối quan hệ cơ bản là không biết hoặc khó tả (PC Chang et al., 2006), (R Fildes et al., 2008) Phân tích nhu cầu cho ngành công nghiệp sản xuất van mà thường đại diện cho một việc đặt hàng công nghiệp đã được thực hiện bằng cách sử dụng mạng nơron dựa trên các phương pháp đào tạo khác nhau và một nghiên cứu so sánh đã được trình bày

Phần 2 trình bày một quan điểm quan trọng của làm việc trước đây trên các nghiên cứu dự báo trong SC và việc sử

forecasting Section 3 describes the techniques used in

the proposed methodology A real-world case study

from a valve manufacturing company is presented in

Section 4 Section 5 gives the results of the neural

techniques and empirical evaluations Section 6

concludes this paper by giving important extensions and

future directions of work

II LITERATURE

Qualitative method, time series method, and causal

method are 3 important forecasting techniques

Qualitative methods are based on the opinion of subject

matter expert and are therefore subjective Time series

methods forecast the future demand based on historical

data Causal methods are based on the assumption that

demand forecasting is based on certain factors and

explore the correlation between these factors

Demand forecasting has attracted the attention of many

research works Many prior studies have been based on

the prediction of customer demand based on time series

models such as moving-average, exponential smoothing,

and the Box-Jenkins method, and casual models, such as

regression and econometric models

There is an extensive body of literature on sales

forecasting in industries such as textiles and clothing

fashion ( Y.Fan et al., 2011), (Z.L Sun et

al.,2008) ,books (K Tanaka et al., 2010), and electronics

(P.C Chang et al.,2013) However, very few studies

center on demand forecasting in industrial valve sector

which is characterized by the combination of standard

products manufactures and make to order industries

Lee, Padmanabhan, and Whang (1997) studied bullwhip

effect which is due to the demand variability

amplification along a SC from retailers to distributors

Chen, Ryan, and Simchi-Levi (2000) analyzed the effect

of exponential smoothing forecast by the retailer on the

bullwhip effect

Zhao, Xie, and Leung (2002) investigated the impact of

forecasting models on SC performance via a computer

simulation model

Dejonckheere et al.,(2003) demonstrated the importance

of selecting proper forecasting techniques as it has been

shown that the use of moving average, naive forecasting

or demand signal processing will induce the bullwhip

effect Autoregressive linear forecasting, on the other

hand, has been shown to diminish bullwhip effects,

while outperforming naive and exponential smoothing

methods (Chandra and Grabis, 2005)

Although the quantitative methods mentioned above

perform well, they suffer from some limitations First,

dụng ANN trong dự báo nhu cầu Phần 3 mô tả các kỹ thuật được sử dụng trong các phương pháp được đề xuất Một nghiên cứu tình huống thực tế từ một công ty sản xuất van được trình bày trong phần 4 Phần 5 cho kết quả của các kỹ thuật nơron và đánh giá thực nghiệm Phần 6 kết thúc bài viết này bằng cách cho các phần mở rộng quan trọng và định hướng tương lai của công việc

II TÀI LIỆU

Phương pháp định tính, phương pháp chuỗi thời gian, và phương pháp nhân quả là 3 kỹ thuật dự báo quan trọng Phương pháp định tính được dựa vào ý kiến của chuyên gia

về vấn đề và do đó là chủ quan Phương pháp chuỗi thời gian dự báo tương lai nhu cầu dựa trên các dữ liệu lịch sử Phương pháp nhân quả được dựa trên giả định rằng nhu cầu

dự báo dựa vào các yếu tố nhất định và khám phá những mối tương quan giữa các yếu tố

Nhu cầu dự báo là lĩnh vực thu hút rất nhiều nghiên cứu Phần lớn các nghiên cứu này dựa trên sự dự đoán nhu cầu khách hàng dựa trên mô hình chuỗi thời gian như số bình quân di động, làm bằng hàm mũ, phương pháp Jenkins, và các phương pháp thông thường khác, như mô hình hồi quy,

và các mô hình toán kinh tế

Dự báo bán hàng hiện đang được phát triển mạnh trong các ngành công nghiệp như may mặc, thời trang ( Y.Fan et al., 2011), (Z.L Sun et al.,2008), sách (K Tanaka et al., 2010)

và thiết bị điện tử (P.C Chang et al.,2013) Tuy nhiên, có rất

ít nghiên cứu về dự báo trong lĩnh vực công nghiệp van, được đặc trưng bằng sự kết hợp giữa các sản phẩm tiêu chuẩn với sản phẩm của các ngành khác

Lee, Padmanabhan, và Whang (1997) nghiên cứu hiệu ứng bullwhip, dựa trên nhu cầu phân phối rộng rãi từ bán lẻ đến phân phối Chen, Ryan, và Simchi-Levi (2000) đã phân tích hiệu ứng của dự đoán theo phương pháp san bằng hàm mũ bởi nhà bán lẻ trên hiệu ứng bullwhip

Zhao, Xie, và Leung (2002) đã tìm hiểu về ảnh hưởng của các mô hình dự đoán thông qua mô phỏng trên máy vi tính

Dejonckheere et al.,(2003) chỉ ra tầm quan trọng của việc chọn lựa phương pháp thích hợp có ảnh hưởng đến hiệu ứng bullwhip

Mặc dù các phương pháp định lượng trên có thể thực hiện tốt, tuy nhiên chúng vẫn có một số giới hạn nhất định Thứ

lack of expertise might cause a mis-specification of the

functional form linking the independent and dependent

variables together, resulting in a poor regression (Tugba

Efedil et al., 2008) Secondly an accurate prediction can

be guaranteed only if large amount of data is available

Thirdly, non-linear patterns are difficult to capture

Finally, outliers can bias the estimation of the model

parameters The use of neural networks in demand

forecasting overcomes many of these limitations Neural

networks have been mathematically demonstrated to be

universal approximaters of functions(Garetti&Taisch,

1999)

Al-Saba et al (1999) & Beccali, et al (2004), refer to the

use of ANNs to forecast short or long term demands for

electric load Law (2000) studied the ANN demand

forecasting application in tourism industry Aburto and

Weber (2007) presented a hybrid intelligent system

combining autoregressive integrated moving average

models and NN for demand forecasting in SCM and

developed an inventory management system for a

Chilean supermarket Chiu and Lin (2004) demonstrated

how collaborative agents and ANN could work in

tandem to enable collaborative SC planning with a

computational framework for mapping the supply,

production and delivery resources to the customer

orders Kuo and Xue (1998) used ANNs to forecast sales

for a beverage company Their results showed that the

forecasting ability of ANNs is indeed better than that of

ARIMA specifications Chang and Wang (2006) applied

a fuzzy BPN to forecast sales for the Taiwanese printed

circuit board industry Although there are many papers

regarding the artificial NN applications, very few studies

center around application of different learning

techniques and optimization of network architecture

III PROPOSED METHODOLOGY

A Demand forecasting.

Traditional time series demand forecasting models are

Naive Forecast, Average, Moving Average Trend and

Multiple Linear Regression The naive forecast which

uses the latest value of the variable of interest as a best

guess for the future value is one of the simplest

forecasting methods and is often used as a baseline

method against which the performance of other methods

is compared The moving average forecast is calculated

as the average of a defined number of previous periods

Trend-based forecasting is based on a simple regression

model that takes time as an independent variable and

tries to forecast demand as a function of time The

multiple linear regression model tries to predict the

nhất, các dạng phương trình liên kết các biến độc lập và các biến phụ thuộc không chính xác, dẫn đến kết quả hồi quy thấp (Tugba Efedil et al., 2008) Thứ hai, dự đoán chỉ chính xác nếu có một lượng lớn dữ liệu để xử lý Thứ ba, các dạng phi tuyến tính khó dự đoán được Cuối cùng, những giá trị ngoại lệ có thể làm ảnh hưởng đến các tham số của mô hình Việc sử dụng mạng nơron trong dự báo nhu cầu có thế giải quyết được các nhược điểm trên Mạng nơron được chứng minh như là một bộ xấp xỉ tiêu chuẩn (Garetti&Taisch, 1999)

Al-Saba et al (1999) & Beccali, et al (2004), sử dụng ANN

để dự báo các nhu cầu tải điện Law (2000) nghiên cứu ANN trong các ứng dụng du lịch lữ hành Aburto and Weber (2007) giới thiệu hệ thống lai kết hợp giữa mô hình tự hồi quy kết hợp số bình quân di động với phương pháp mạng nơ-ron Sau đó, ông đã phát triển một hệ thống quản lý hàng tồn kho cho một siêu thị ở Chile Chiu and Lin (2004) chứng minh sự kết hợp giữa các nhân viên và ANN dựa trên nền tảng điện toán trong việc cung cấp, sản xuất và phân phối đến khách hàng Kuo and Xue (1998) sử dụng ANN để dự đoán giá bán của một công ty bia Kết quả cho thấy khả năng của ANN tốt hơn so với những phương pháp trước đó Chang and Wang (2006) đã áp dụng phương pháp BPN để

sự đoán giá bán của các bo mạch Mặc dù có rất nhiều nghiên cứu liên quan đến ứng dụng của mạng nơron nhân tạo, có rất ít những nghiên cứu liên quan đến ứng dụng của các kỹ thuật khác nhau và tối ưu kiến trúc mạng

III ĐỀ XUẤT PHƯƠNG PHÁP

A Dự báo nhu cầu

Các mô hình dự đoán nhu cầu bằng chuỗi thời gian như dự đoán tự nhiên, bình quân, bình quân động, hồi quy đa tuyến tính Phương pháp dự đoán tự nhiên sử dụng giá trị cuối cùng của biến lợi nhuận như giá trị dự đoán tốt nhất cho giá trị tương lai; phương pháp này là phương pháp đơn giản nhất

và được sử dụng như phương pháp cơ sở để so sánh hiệu suất với các phương pháp khác Phương pháp bình quân động được tính toán dựa trên trung bình của số đã được định nghĩa ở các chu kỳ trước Phương pháp dự báo xu hướng dựa trên mô hình hồi quy đơn giản, sử dụng thời gian là biến độc lập và thành lập phương trình dự báo là hàm theo thời gian Phương pháp hồi quy đa tuyến tính sự đoán sự thay đổi trong nhu cầu dựa trên những thay đổi trong quá khứ trong

change in demand using a number of past changes in

demand observations as independent variables

B Neural Network

Neural Networks (NNs) are flexible non-linear data

driven models that have attractive properties for

forecasting Statistical methods are only efficient for

data having seasonal or trend patterns, while artificial

neural techniques can accommodate the data influenced

by the special case, like promotion or extreme crisis

demand fluctuation (Nikolaos Kourentzes , 2013)

Artificial intelligence forecasting techniques have been

receiving much attention lately in order to solve

problems that are hardly solved by the use of traditional

methods ANNs have the ability to learn like humans, by

accumulating knowledge through repetitive learning

activities Animal brain’s cognitive learning process

is simulated in ANNs

ANNs are proved to be efficient in modeling complex

and poorly understood problems for which sufficient

data are collected (Dhar & Stein, 1997) ANN is a

technology that has been mainly used for prediction,

clustering, classification, and alerting of abnormal

patterns (Haykin, 1994) The capability of learning

examples is probably the most important property of

neural networks in applications and can be used to train

network with the records of past response of a complex

system (Wei, Zhang & Li, 1997)

Fig.1 Non-Linear model of Neuron ( Courtesy: Haykin,

1994.)

The basic element in an ANN is a neuron The model of

a neuron is depicted in Fig 1 (Haykin, 1994) In

mathematical terms, a neuron k can be described as in

Eqs (1) and (2):

1

p

k j kj j

u   w x {1}

y   u   {2}

where x1,x2, ,xp are the input signals; wk1,wk2, wkp

are the synaptic weights of neuron k, and, uk is the linear

combiner output while Ɵ k denotes the threshold

quá trình quan sát nhu cầu như là một biến độc lập

B Mạng nơ-ron

Mạng noron là mô hình được điều khiển bằng dữ liệu linh hoạt, có nhiều tính chất hấp dẫn cho dự báo Các phương pháp thống kê chỉ hiệu quả đối với dữ liệu có tính chất xu hướng hay chu kỳ, trong khi các kỹ thuật của mạng nơ-ron nhân tạo có thể thu thập dữ liệu trong trường hợp đặc biệt, như khuyến mãi hoặc giai đoạn khủng hoảng (Nikolaos Kourentzes , 2013) Hiện nay, các kỹ thuật dự báo này nhận được sự quan tâm rất lớn trong việc giải quyết các vấn đề mà rất khó giải quyết bằng các phương pháp truyền thống ANN

có khả năng tự học như con người, bằng cách thu thập dữ liệu thông qua các hoạt động lặp đi lặp lại Quá trình nhận thức của động vật được mô phỏng trong ANN

ANN đã được chứng minh là rất hiệu quả trong việc mô hình các vấn đề phức tạp và khó hiểu nếu có thể thu thập đầy đủ

dữ liệu (Dhar & Stein, 1997) ANN là một công nghệ được

sử dụng chính cho dự báo, khoanh vùng, phân loại và cảnh báo các cấu trúc bất thường (Haykin, 1994) Khả năng tự học có thể là một đặc tính quan trọng nhất của mạng nơ-ron

và có thể được sử dụng để huấn luyện mạng bằng cách sử dụng những dữ liệu từ trước

Hình 1: Mô hình Nơ-ron không tuyến tính ( Courtesy: Haykin, 1994.)

Thành phần cơ bản của mạng ANN là nơ-ron Mô hình của nơ-ron được chỉ ra ở hình 1 (Haykin, 1994) Biểu thức toán học được mô tả ở phương trình (1) và (2):

1

p

k j kj j

u   w x {1}

y   u   {2}

Trong đó x1,x2, ,xp là các tín hiệu đầu vào; wk1,wk2,

wkp là các trọng số tiếp hợp của nơ-ron k, và uk là bộ kết hợp

tuyến tính đầu ra với Ɵ k biểu thị ngưỡng cho phép Φ là

Furthermore, is the activation function; and yk is the

output signal of the neuron (Haykin, 1994)

Of the different types of neural networks, most

commonly used is the feed-forward error

back-propagation type neural nets In these networks, the

individual elements neurons are organized into layers in

such a way that output signals from the neurons of a

given layer are passed to all of the neurons of the next

layer Thus, the flow of neural activations goes in one

direction only, layer-by-layer The smallest number of

layers is two, namely the input and output layers More

layers, called hidden layers, could be added between the

input and the output layer to increase the computational

power of the neural nets Provided with sufficient

number of hidden units, a neural network could act as a

‘universal approximator.( Real Carbonneau et al 2006)

Neural networks are tuned to fulfill a required mapping

of inputs to the outputs using training algorithms The

common training algorithm for the feed-forward nets is

called ‘error back-propagation’(Rumelhart et al., 1986)

The learning method can be divided into two categories,

namely, unsupervised learning and supervised learning

Error back propagation method is supervised learning

model where the error between the expected output and

the calculated output is computed and minimized by

adjusting the weights between two connection layers

starting backwards from the output layer to input layer

The correct number of hidden units is dependent on the

selected learning algorithm A greater quantity of hidden

layers enables a NN model to improve its

closeness-of-fit, while a smaller quantity improves its smoothness or

extrapolation capabilities (Choy et al., 2003) It was

concluded that the number of hidden neurons is best

determined by trial and error method According to

some literature studies, the number of hidden layer

nodes can be up to 2n + 1 (where n is the number of

nodes in the input layer), or 50% of the quantity of input

and output nodes (Lenard, Alam, & Madey, 1995;

Patuwo, Hu, & Hung, 1993; Piramuthu, Shaw, &

Gentry, 1994)

C Back Propagation Training Algorithms:

MATLAB tool box is used for neural network

implementation for functional approximation for

demand forecasting

Different back propagation algorithms in use in

MATLAB ANN tool box are:

- Batch Gradient Descent (traingd)

- Variable Learning Rate (traingda, traingdx)

- Conjugate Gradient Algorithms ( traincgf, traincgp,

phương trình kích hoạt; yk là tín hiệu đầu ra của nơ-ron (Haykin, 1994)

Trong số các loại khác nhau của mạng nơron, thường được

sử dụng là loại cấp phát lỗi lan truyền ngược lưới nơ-ron Trong mạng này, các thành phần nơ-ron được phân chia thành các lớp, trong đó, tín hiệu đầu ra của nơ-ron ở một lớp

sẽ được đưa vào các nơ-ron ở lớp tiếp theo Do đó, luồng kích hoạt nơ-ron chỉ đi theo một chiều duy nhất qua từng lớp Số lớp nhỏ nhất là 2, được gọi là lớp đầu vào và lớp đầu

ra Các lớp thêm vào giữa lớp đầu vào và lớp đầu ra, gọi là lớp ẩn Với một số lượng lớp ẩn hợp lý, công suất tính toán của mạng nơ-ron sẽ tăng lên, lúc mày mạng được xem như

bộ xấp xỉ tiêu chuẩn (Real Carbonneau et al 2006)

Mạng nơ-ron được điều chỉnh để đáp ứng ánh xạ từ đầu vào đến đầu ra bằng cách sử dụng thuật toán huấn luyện Thuật toán huấn luyện phổ biến là cho lưới tiếp thuận được gọi là thuật toán lỗi back-propagation (Rumelhart et al., 1986) Thuật toán lỗi back-propagation là loại mô hình học có giám sát, trong đó lỗi ở giữa kết quả mong muốn và kết quả tính toán được ở đầu ra sẽ được tính toán và tối thiểu bằng cách thêm vào trọng số giữa hai lớp liền kề, bắt đầu ngược từ đầu

ra đến đầu vào Số lượng lớp ẩn phụ thuộc vào cách chọn thuật toán Số lượng lớn sẽ cho phép mô mình mạng nơ-ron nâng cao tính chính xác Số lượng nhỏ sẽ làm tăng tính trơn

và khả năng ngoại suy (Choy et al., 2003) Có thể kết luận rằng số lượng nơ-ron ẩn được xác định bằng phương pháp thử và lỗi thích hợp Theo một số nghiên cứu lý thuyết, số lượng các nút ẩn có thể lên đến 2n+1 (với n là số lớp đầu vào), hoặc 50% số lượng của nút đầu vào và đầu ra (Lenard, Alam, & Madey, 1995; Patuwo, Hu, & Hung, 1993; Piramuthu, Shaw, & Gentry, 1994)

C Thuật toán huấn luyện lan truyền ngược

Công cụ Matlab được sử dụng trong vận hành mạng nơ-ron với chức năng xấp xỉ trong dự báo nhu cầu

Có nhiều thuật toán lan truyền ngược được sử dụng trong công cụ MATLAB ANN như:

- Batch Gradient Descent (traingd)

- Variable Learning Rate (traingda, traingdx)

- Conjugate Gradient Algorithms ( traincgf, traincgp,

traincgb, trainscg)

- Levenberg-Marquardt (trainlm)

1) Batch Gradient Descent (Traingd) : The batch

steepest descent training function is traingd The weights

and biases are updated in the direction of the negative

gradient of the performance function There are seven

training parameters associated with traingd: epochs,

show, goal, time, min_grad, max_fail, and lr The

learning rate lr is multiplied times the negative of the

gradient to determine the changes to the weights and

biases

2) Variable Learning Rate (Traingda): With standard

steepest descent, the learning rate is held constant

throughout training The performance of the algorithm is

very sensitive to the proper setting of the learning rate If

the learning rate is set too high, the algorithm may

oscillate and become unstable If the learning rate is too

small, the algorithm will take too long to converge It is

not practical to determine the optimal setting for the

learning rate before training, and, in fact, the optimal

learning rate changes during the training process, as the

algorithm moves across the performance surface

The performance of the steepest descent algorithm can

be improved if the learning rate is adjusted during the

training process An adaptive learning rate will attempt

to keep the learning step size as large as possible while

keeping learning stable The learning rate is made

responsive to the complexity of the local error surface

(Mathworks, 2000)

3) Conjugate Gradient Algorithms (Traincgf) : The

basic back propagation algorithm adjusts the weights in

the steepest descent direction (negative of the gradient)

This is the direction in which the performance function

is decreasing more rapidly It turns out that, although the

function decreases more rapidly along the negative of

the gradient, this does not necessarily produce the fastest

convergence In the conjugate gradient algorithms a

search is performed along conjugate directions, which

produces generally faster convergence than steepest

descent directions Depending on the search functions

we have different training algorithms like traincgf,

traincgp, traincgb, trainscg (Mathworks, 2000)

4) Levenberg-Marquardt Algorithm (trainlm): Like the

quasi-Newton methods, the Levenberg-Marquardt

algorithm was designed to approach second-order

training speed without having to compute the Hessian

matrix When the performance function has the form of

a sum of squares (as is typical in training feed forward

networks), then the Hessian matrix can be approximated

traincgb, trainscg)

- Levenberg-Marquardt (trainlm) 1) Batch Gradient Descent (Traingd) : Sử dụng khối hàm traingd Trọng số và phân cực được cập nhật trong hướng của gradient âm của hàm hiệu suất Có 7 tham số liên quan đến hàm traingd: epochs, show, goal, time, min_grad, max_fail, và lr Tốc độ học lr được nhân với số lần số âm của gradient để xác định sự thay đổi của trọng số và phân cực

2) Variable Learning Rate (Traingda): Với sự giảm nhanh nhất tiêu chuẩn, tốc độ học là một hằng số trong toàn bộ quá trình Hiệu suất của thuật toán này rất nhạy cảm với điều chỉnh liên qua đến tốc độ học Nếu tốc độ học được đặt quá cao, thuật toán sẽ không ổn định Nếu tốc độ học quá nhỏ, thuật toán sẽ mất nhiều thời gian để hội tụ Thông thường, tốc độ học tối ưu được thay đổi trong quá trình thực hiện đáp ứng theo thuật toán

Hiệu suất của thuật toán thuật toán giảm nhanh có thể được nâng cao nếu tốc độ học được điều chỉnh trong quá trình thực hiện thuật toán Tốc độ học thích nghi này cho phép giữa kích thước khoảng giá trị ở độ lớn vừa tối đa cho phép trong khi vẫn giữ được sự ổn định Tốc độ học là đáp ứng cho độ phức tạp của bề mặt lỗi nội (Mathworks, 2000)

3) Conjugate Gradient Algorithms (Traincgf): Thuật toán back propagation cơ bản thêm trọng số vào hướng của độ giảm nhanh nhất (âm của gradient) Đây là hướng mà hiệu suất của hàm giảm nhanh nhất Điều này có nghĩa là, mặc dù hàm giảm nhanh nhất cùng với độ âm của gradient, nó không có nghĩa là cần phải hội tụ nhanh nhất Trong thuật toán liên hợp gradient, quá trình tìm kiếm được thực hiện dọc theo hướng liên hợp, về cơ bản có thể tạo ra sự hội tụ nhanh hơn so với phương pháp hướng giảm nhanh nhất Phụ thuộc vào hàm tìm kiếm, ta sẽ có các thuật toán khác nhau như traincgf, traincgp, traincgb, trainscg (Mathworks, 2000)

4) Levenberg-Marquardt Algorithm (trainlm): Cũng như phương pháp giả Newton, thuật toán Levenberg-Marquardt được thiết kế để tiếp cận tốc độ huấn luyện bậc hai mà không cần phải tính toán ma trận Hessian Nếu hàm hiệu suất có dạng tổng các bình phương (điển hình trong mạng tiếp thuận), thì ma trận Hessian có thể xấp xỉ là:

H = JTJ

as H = JJ

and the gradient can be computed as

G = JTe

where is J the Jacobian matrix that contains first

derivatives of the network errors with respect to the

weights and biases, and e is a vector of network errors

The Jacobian matrix can be computed through a

standard back propagation technique that is much less

complex than computing the Hessian matrix

The Levenberg-Marquardt algorithm uses this

approximation to the Hessian matrix in the following

Newton-like update

Xk+1=Xk - [ JTJ+μI]I]-1 JTe This algorithm appears to be the fastest method for

training moderate-sized Feed forward neural networks

(up to several hundred weights) It also has a very

efficient MATLAB implementation, since the solution

of the matrix equation is a built-in function, so its

attributes become even more pronounced in a MATLAB

setting (Mathworks, 2000)

IV EMPIRICAL EVALUATION

The real time data for the inventory management of an

existing valve manufacturing company will be used to

validate the concepts on the demand forecasting

A Data set and forecasting variable

The company under study is a pioneer in the Indian

valve industry and has developed innovative and high

quality products for various applications The company

produces more than fifty types of valve assemblies of

different valve types, gate valve, ball valve, globe valve,

check valve etc

Among this wide product range, one of fast moving

items is earmarked for the demand forecasting analysis

10’’X 150 class gate valve –GTV 101 series is selected

for study Past historical bimonthly sales data from 2001

till 2012 for these product category is compiled This

group of 72 data items will form the time series for

forecasting the demand for these types of valves This

data will be divided into 2 parts, one for training the

ANN and other for testing and validation

TABLE1

MATLAB ANN tool box is used for neural network

implementation for functional approximation of demand

forecasting

Input for the neural network demand forecasting model:

1 Previous bimonthly sale

2 2Nnd previous bimonthly sale ( sales of last 3rd and

và gradient được tính là

G = JTe

Trong đó J là ma trận Jacobi chứa đạo hàm thứ nhất của lỗi mạng tương ứng với trọng số và phân cực, và e là véc tơ của lỗi mạng

Ma trận Jacobi có thể được tính toán thông qua kỹ thuật back propagation tiêu chuẩn, và ít phức tạp hơn tính toán ma trận Hessian

Thuật toán Levenberg-Marquardt sử dụng xấp xỉ này với ma trận Hessian trong bản cập nhật Newton như sau

Xk+1=Xk - [ JTJ+μI]I]-1 JTe Thuật toán này được xem như phương pháp nhanh nhất đối với các mạng nơ-ron tiếp thuận kích thước vừa phải (khoảng vài tram trọng số) Phương pháp này thực hiện tốt bằng MATLAB, vì phương trình ma trận là hàm có sẵn trong MATLAB, với các tham số đã được khai báo sẵn

IV ĐÁNH GIÁ THỰC NGHIỆM

Dữ liệu thời gian thực trong quản lý hàng tồn kho của công

ty sản xuất van sẽ được sử dụng để đánh giá khái niệm trong

dự báo nhu cầu

A Dữ liệu và biến dự báo

Công ty sử dụng trong nghiên cứu là một công ty tiên phong trong sản xuất van ở Ấn Độ, đã phát triển nhiều sản phẩm sáng tạo và chất lượng cao cho nhiều ứng dụng, Công ty đã sản xuất hơn 50 loại van các loại, lắp đặt các loại van khác nhau, van cổng, van bóng, van cầu, van kiểm tra, etc

Trong số các loại sản phẩm đó, van cổng loại 10’’X 150 – sê-ri GTV 101 được chọn làm sản phẩm nghiên cứu Dữ liệu bán hàng mỗi tháng hai lần từ 2001 đến 2012 được tổng hợp Nhóm gồm 72 dữ liệu này sẽ tạo nên chuỗi thời gian để dự đoán nhu cầu cho các loại van Dữ liệu này sẽ chia làm hai phần, một phần sử dụng cho huấn luyện ANN, và phần còn lại sử dụng cho kiểm thử

Bảng dữ liệu (Xem file phụ lục biểu đồ)

Bộ công cụ MATLAB ANN được sử dụng cho triển khai mạng nơ-ron cho chức năng xấp xỉ trong dự báo nhu cầu

Dữ liệu đầu vào cho mạng nơ-ron dự báo nhu cầu:

1 Doanh số bán hàng trong hai tháng trước

2 Doanh số bán hàng trong hai tháng trước đó (tháng thứ ba

4th month)

3 Moving average of last 2 bimonthly sales

4 Moving average of last 3 bimonthly sale

Output of neural network is the forecasted demand for

the next bimonthly sale Mfile programs are written for

demand forecasting using ANN MLP model using

different training methods

TABLE2

Fig 1 Identification of optimum no of neurons

C Procedure for demand forecasting calculation:

● Run the program using the training method trainlm

and optimize the number of nodes in the hidden layer

where we will achieve the training goal or very good

mean square error performance

● For this number of hidden nodes , run the program

using different learning algorithms like TRAINLM,

TRAINGD, TRAINGDA

● Tabulate the test data , that is the actual quantity and

forecasted test data result Find the mean absolute error

● Compare the \mean absolute percentage error from all

the above training methods

Using TRAINLM method, optimum number of neurons

is computed Table 2 lists Mean Square Error for

different number of neurons and it is identified that the

MSE is minimum for 20 nuerons By means of many

trial and error experiments ,the proper parameters are

chosen as following:

Number of neurons in hidden layer = 20

Learning rate = 1.0

Momentum = 0.8

Number of epochs=1000

TABLE 3,4,5,6,7

V RESULTS AND VALIDATION

The network is trained using different training methods

Table 2 to table No 6 tabulate the test result using the

training methods TRAINLM, TRAINGD, TRAINGDA

& TRAINCGF These results are graphically represented

in Fig 3 to Fig 6 Average absolute error of each training

method is listed in table 7 which compares the predictive

accuracy of the different ANN training models Fig 7 is

a bar chart representation of Mean absolute error

Overall, the performance of TRAINLM training method

has been significantly better than that of other training

methods

và thứ 4 trước)

3 Bình quân động của doanh số bán hàng hai tháng trước

4 Bình quân động của doanh số bán hàng ba hai tháng trước Đầu ra của mạng nơ-ron là dự báo nhu cầu doanh số bán hàng cho hai tháng tiếp theo Chương trình Mfile được viết cho dự báo nhu cầu sử dụng mô hình ANN MPL sử dụng các phương pháp huấn luyện khác nhau

Bảng dữ liệu (Xem file phụ lục biểu đồ) Hình 1 (Xem file phụ lục biểu đồ)

C Quá trình tính toán dự báo nhu cầu

● Chạy chương trình sử dụng hàm trainlm và tối ưu số node

ẩn của lớp ẩn để thu được kết quả huấn luyện hoặc hiệu suất phương sai tốt

● Với giá trị node ẩn đó, chạy chương trình với các thuật toán học khác nhau, như TRAINLM, TRAINGD, TRAINGDA

● Lập bảng cho dữ liệu kiểm tra, đó là số lượng thực và kết quả dự báo Tìm phương sai tuyệt đối

● So sánh phương sai tuyệt đối của tất cả các phương pháp trên

Sử dụng phương pháp TRAINLM, số nơ-ron tối ưu được tính toán Bảng 2 chỉ ra Phương sai đối với số nơ-ron khác nhau và được xác định là MSE < 20 nơ-ron Bằng cách sử dụng nhiều phương pháp kiểm thử và lỗi, giá trị tốt nhất được lựa chọn như sau:

Số nơ-ron ở lớp ẩn = 20 Tốc độ học = 1.0 Động lượng = 0.8

Số epoch = 1000 Bảng và Hình so sánh 3,4,5,6,7 (Xem file phụ lục biểu đồ)

V KẾT QUẢ VÀ ĐÁNH GIÁ

Mạng được huấn luyện với nhiều phương pháp khác nhau Bảng 2 và bảng 6 là kết quả kiểm tra sử dụng phương pháp TRAINLM, TRAINGD, TRAINGDA & TRAINCGF Những phương pháp này được biểu diễn trên đồ thị ở hình 3

và hình 6 Các giá trị trung bình tuyệt đối của các phương pháp được chỉ ra ở bảng 7 để so sánh độ chính xác dự đoán của các mô hình huấn luyện ANN khác nhau Hình 7 là đồ thị biểu diễn phương sai

Nhìn chung, hiệu suất của phương pháp TRAINLM tốt hơn

so với những phương pháp khác