Metode de învățare de gradient. Metode de optimizare a gradientului

Metoda de gradient și soiurile sale aparțin celor mai frecvente metode de găsire a funcțiilor extremum ale mai multor variabile. Idee metoda de gradient este că în procesul de căutare a extremumului (pentru certitudine maximul) se mișcă de fiecare dată în direcția cea mai mare creștere funcția țintă.

Metoda Gradient implică calcularea primelor derivați ai funcției țintă prin argumentele sale. Aceasta, precum și cele anterioare, aparține metodelor aproximative și ne permite să nu atingem punctul optim, dar abordă-l doar pentru un număr finit de pași.

Smochin. 4.11.

Smochin. 4.12.

(caz bidimensional)

Mai întâi, alegeți punctul de plecare dacă în cazul unidimensional (a se vedea punctul 4.2.6) din acesta

este posibil să se deplaseze la stânga sau la dreapta (vezi figura 4.9), apoi un caz multidimensional, numărul de direcții posibile de mișcare este infinit de mare. În fig. 4.11, ilustrând cazul a două variabile, săgeți provenind din punctul de plecare DAR, Sunt afișate diferite direcții posibile. În acest caz, mișcarea în funcție de unele dintre ele oferă o creștere a valorii funcției țintă în raport cu punctul DAR (de exemplu, direcții 1-3), Iar în alte zone duce la scăderea acesteia (direcții 5-8). Având în vedere că poziția punctului optim este necunoscută, este considerată cea mai bună direcție în care funcția țintă crește mai repede. Această direcție este numită gradient Funcții. Rețineți că, la fiecare punct al planului de coordonate, direcția gradientului este perpendiculară pe tangentul liniei de nivel cu același punct.

În analiza matematică, se dovedește că componentele funcției vectorului gradientului w. =/(*, x 2. ..., x n) sunt instrumentele sale derivate private pe argumente, adică.

& Iad / (x 1, x 2 ,.= (Du / dcu, dc 2, ..., du / dh n). (4.20)

Astfel, atunci când se caută o metodă maximă de gradient pe prima iterație, componentele gradientului conform formulelor (4.20) sunt calculate pentru punctul inițial și fac o etapă de lucru în direcția găsită, adică Tranziția la un nou punct -0)

U "cu coordonate:

1§Gas1 / (x (0)),

sau în formă vectorială

unde X - Un parametru permanent sau variabil care determină lungimea etapei de lucru,? І\u003e 0. Pe cea de-a doua iterație calculează din nou

vectorul de gradient este deja pentru un nou punct. După aceea, prin analog

glichic Formula merge la punctul X ^ > etc. (Fig. 4.12). Pentru arbitrare la-iterații au

Dacă se găsește maximul și minimul funcției țintă, atunci pe fiecare iterație este un pas în direcția opusă direcției gradientului. Se numește direcția antigigractorului. În loc de formula (4.22) în acest caz va fi

Există multe soiuri ale metodei gradientului, care diferă în alegerea pașilor de lucru. Puteți, de exemplu, treceți la fiecare punct ulterior la o valoare permanentă. X și apoi

lungimea pașilor de lucru este distanța dintre punctele adiacente x ^

lor 1 "- se dovedește a fi un modul proporțional al vectorului de gradient. Puteți, dimpotrivă, pe fiecare iterație să alegeți X. Astfel încât durata etapei de lucru rămâne constantă.

Exemplu. Este necesar să găsiți o funcție maximă

y \u003d 110-2 (LH, -4) 2 -3 (* 2 -5) 2.

Desigur, folosind condiția necesară pentru extremum, primim imediat soluția dorită: x] - 4; x 2. \u003d 5. Cu toate acestea, pe acest lucru exemplu simplu Este convenabil să se demonstreze algoritmul metodei gradientului. Calculați gradientul funcției țintă:

grad. y \u003d (du / dh-, du / dh 2) \u003d (4 (4 - *,); 6 (5 - x 2)) și alegeți punctul de plecare

L * "\u003d (x) °\u003e \u003d 0; 4 °\u003e \u003d 0).

Valoarea funcției țintă pentru acest punct, cât de ușor este de a calcula, egal În [x ^ J \u003d 3. Puneți X. \u003d const \u003d 0,1. Magnitudinea gradientului la punct

ZS (0) este Grad Y | X ^ J \u003d (16; 30). Apoi, în prima iterație, obținem conform formulelor (4.21) coordonatele punctului

x 1) \u003d 0 + 0,1 16 \u003d 1,6; x ^ \u003d 0 + 0,1 30 \u003d 3.

În (x (1)) \u003d 110-2 (1,6-4) 2-3 (3-5) 2 \u003d 86,48.

După cum se poate vedea, este semnificativ mai mult decât valoarea anterioară. În cea de-a doua iterație, avem conform formulelor (4.22):

• 1,6 + 0,1 4(4 - 1,6) = 2,56;

Curs 6.

Metode de gradient pentru rezolvarea problemelor de programare neliniară.

Întrebări:1. caracteristici generale Metode.

2. Metoda de gradient.

3. Metoda marelui birou.

4. Metoda de îndeplinire Frank.

5. Funcții de penalizare.

1. Caracteristicile generale ale metodelor.

Metodele de gradient sunt aproximative (iterative) metode de rezolvare a problemei programării neliniare și vă permit să rezolvați aproape orice sarcină. Cu toate acestea, extremumul local este determinat. Prin urmare, este recomandabil să se aplice aceste metode pentru a rezolva sarcinile de programare convexe în care fiecare extremum local este atât global. Procesul de rezolvare a problemei este că, începând cu un anumit punct x (inițial), o tranziție secvențială este efectuată în direcția GRADF (X), dacă este determinat punctul maxim și -GRADF (X) (antigigadient), dacă Punctul minim este definit în punctul care decide problema. În același timp, acest punct poate fi în zona valorilor admise și la granița sa.

Metodele de gradient pot fi împărțite în două clase (grupuri). Primul grup include metode în care toate punctele studiate aparțin zonei admise. Astfel de metode includ: metoda gradientului, coborârea de bază, Frank-Wulf și alții. Al doilea grup include metode în care punctele studiate nu pot aparține zonei admise. Comună de astfel de metode este metoda de funcții de penalizare. Toate metodele de caracteristici de penalizare diferă una de cealaltă prin metoda de determinare a "amenzii".

Principalul concept utilizat în toate metodele de gradient este conceptul unui gradient al funcției, ca instrucțiuni de definiție a funcției.

La determinarea soluției de metode de gradient, procesul iterativ continuă până la:

Fie grad f (x *) \u003d 0, (soluție precisă);

unde
- Două puncte succesive,
- Numărul mic care caracterizează acuratețea soluției.

2. Metoda de gradient.

Imaginați-vă că un om stând pe panta râului, care trebuie să coboare (în partea de jos). Cel mai natural, se pare, direcția spre cea mai mare abruptură a coborârii, adică. (-Grad f (x)). Strategia primită în același timp, numită metoda de gradienteste o secvență de pași, fiecare dintre care conține două operații:

a) determinarea direcției celei mai mari abrupturi a coborârii (ridicare);

b) Deplasați-vă în direcția selectată pentru un pas.

Alegerea corectă a pasului este esențială. Pasul mai puțin, cu atât rezultatul mai precis, dar mai mult computing. Diferite modificări ale metodei de gradient și constau în utilizarea diferitelor modalități de determinare a pasului. Dacă, în orice pas, valoarea f (x) nu a scăzut, înseamnă că punctul minim "alunecat", caz în care este necesar să se reîntoarcă la punctul anterior și să reducă pasul, de exemplu, de două ori.

Schema de soluții.

aparținând regiunii admise

3. Selectați pasul H.

x (k + 1) \u003d x (k)

"-" - dacă min.

5. Determinarea F (x (k +1)) și:

În cazul în care un
Decizia găsită;

Cometariu.Dacă grad f (x (k)) \u003d 0, atunci soluția va fi corectă.

Exemplu.F (x) \u003d -6x 1 + 2x 1 2 - 2x 1 x 2 + 2x 2 2
min.

x 1 + x 2 2, x 1 0, x 2 0,= 0,1.

3. Metoda marelui birou.

Spre deosebire de metoda de gradient, în care gradientul este determinat la fiecare etapă, în metoda gradientului se găsește la punctul de plecare și mișcarea din direcția găsită continuă aceiași pași până când valoarea funcției scade (crește). Dacă în orice pas f (x) a crescut (scăzut), atunci mișcarea din această direcție se oprește, ultima etapă este îndepărtată complet sau jumătate și se calculează noua valoare a gradientului și noua direcție.

Schema de soluții.

1. Determinarea x 0 \u003d (x 1, x 2, ..., x N),

aparținând zonei admise

și f (x 0), k \u003d 0.

2. Determinarea grad F (x 0) sau -Gradf (x 0).

3. Selectați pasul H.

4. Determinarea următorului punct prin formula

x (k + 1) \u003d x (k) h grad f (x (k)), "+" - dacă max,

"-" - dacă min.

5. Determinarea F (x (k +1)) și:

În cazul în care un
Decizia găsită;

Dacă nu:

a) Când căutați min: - dacă F (x (K +1))

Dacă F (x (K +1))\u003e F (x (k)) - tranziția la alineatul (2);

b) la căutarea max: - dacă (x (k +1))\u003e f (x (k)) - tranziția la clauza 4;

Dacă f (x (k +1))

Observații:1. Dacă grad f (x (k)) \u003d 0, atunci soluția va fi corectă.

2. Avantajul metodei de coborâre formală este simplitatea și

reducerea calculelor, deoarece gradul F (x) nu este calculat la toate punctele

este important pentru sarcinile dimensiunii mari.

3. Dezavantajul este că pașii ar trebui să fie mici pentru a nu

treceți la punctul optim.

Exemplu.F (x) \u003d 3x 1 - 0,2x 1 2 + x 2 - 0,2x 2 2
max,

x 1 + x 2 7, x 1 0,

x 1 + 2x 2 10, x 2 0.

4. Metoda Frank-Wulf.

Metoda este utilizată pentru a optimiza o funcție țintă neliniară cu constrângeri liniare. În vecinătatea punctului de testare, o funcție țintă neliniară este înlocuită cu o funcție liniară, iar sarcina este redusă la o soluție secvențială de sarcini de programare liniară.

Schema de soluții.

1. Determinarea x 0 \u003d (x 1, x 2, ..., x n) aparținând regiunii admise și F (x 0), k \u003d 0.

2. Determinarea grad F (x (k)).

3. Construiți o funcție

(Min - "-" max- "+").

4. Definiția max (min) f (x) cu restricții sursă. Lăsați-o să fie punctul z (k).

5. Determinarea etapei de calcule x (k +1) \u003d x (k) + (k) (z (k) -x (k)), unde (k) - pas, coeficient, 0 1. (k) Este selectat astfel încât valoarea funcției F (X) a fost max (min) la punctul X (K +1). Pentru a face acest lucru, rezolvați ecuația
și alegeți cel mai mic (cel mai mare) rădăcini, dar 0 1.

6. DETERMINAREA F (x (K +1)) și verificați necesitatea unei computere suplimentare:

În cazul în care un
sau grad F (x (k +1)) \u003d 0, apoi se găsește soluția;

Dacă nu, atunci trecerea la alineatul (2).

Exemplu.F (x) \u003d 4x 1 + 10x2 -x 1 2 -x2 2
max,

x 1 + x 2 4, x 1 0,

x 2. 2, x 2 0.

5. Funcții de penalizare.

Lăsați-o să fie necesară găsirea F (X 1, X2, ..., X N)
max (min),

g i (x 1, x 2, ..., x n) b I, I \u003d
, X J. 0, J \u003d .

Funcțiile f și g sunt convexe sau concave.

Ideea unei metode de funcții de penalizare este de a căuta valoarea optimă a noii funcții țintă Q (x) \u003d f (x) + h (x), care este suma funcției țintă inițială și unele funcții h (x), determinată de sistemul de restricții și numit funcția de pedeapsă. Funcțiile penale se construiesc în așa fel încât să ofere fie o revenire rapidă în zona admisă, fie imposibilitatea de ieșire din ea. Metoda de funcții de penalizare reduce sarcina pentru un extrem de extrem de condiționat pentru a rezolva problema problemelor de pe extremul necondiționat, care este mai ușor. Există multe modalități de a construi o funcție de penalizare. Cel mai adesea are forma:

H (x) \u003d
,

unde

- Un const pozitiv.

Notă:

Decât mai puțin Cu cât soluția este mai rapidă, precizia este redusă;

Începeți o soluție de la mic și să le măriți în pașii ulteriori.

Folosind funcția de penalizare, treceți în mod constant de la un punct la altul până când se recepționează soluția acceptabilă.

Schema de soluții.

1. Definiția punctului de pornire x 0 \u003d (x 1, x 2, ..., x n), f (x 0) și k \u003d 0.

2. Alegeți un pas al calculelor h.

3. Determinați instrumentele derivate private și .

4. Determinați coordonatele următorului punct cu formula:

x J (K +1)
.

5. Dacă X (K +1) Verificarea unei regiuni admise:

ce-ar fi dacă
- Soluția se găsește dacă nu - trecerea la alineatul (2).

b) Dacă grad f (x (k +1)) \u003d 0, soluția exactă a fost găsită.

Dacă X (K +1) Zona admisibilă Setați un nou sens și mergeți la clauza 4.

Exemplu.F (x) \u003d - x 1 2 - x 2 2
max,

(x 1 -5) 2 + (x 2 -5) 2 8, x 1 0, x 2 0.

Metoda se bazează pe următoarea modificare iterativă a formulei

x k +1 \u003d x K + A K S (x K),

x K + 1 \u003d x K - A K ñ F (x K), unde

un coeficient pozitiv specificat;

Ñ \u200b\u200bF (x K) este un gradient al funcției țintă a primei ordini.

Dezavantaje:

necesitatea de a selecta o valoare adecvată ;

convergența lentă la un punct minim datorită micului f (x k) în vecinătatea acestui punct.

Metoda de coborâre formală

Fără primul dezavantaj al celei mai simple metode de gradient, pentru că A K este calculat prin rezolvarea problemei de minimizare - f (x k) de-a lungul direcției ñ F (x K) cu una din metodele de optimizare unidimensională x K + 1 \u003d x k - A K ñ F (x K).

Această metodă este uneori numită metoda Cauchy.

Algoritmul se caracterizează printr-o rată scăzută de convergență în rezolvarea sarcinilor practice. Acest lucru se explică prin faptul că schimbările variabilelor depind direct de amploarea gradientului, care tinde la zero în vecinătatea punctului minim și nu există mecanism de accelerare în ultimele iterații. Prin urmare, luând în considerare stabilitatea algoritmului, metoda de coborâre formală este adesea folosită ca procedură de căutare inițială (de la punctele situate la distanțe considerabile față de punctul minim).

Metoda de direcții conjugate

Sarcina generală a programării neliniare fără restricții este redusă la următoarele: Minimize F (X), X E N, unde F (x) este o funcție țintă. La rezolvarea acestei sarcini, folosim metode de minimizare care duc la un punct staționar F (x), determinat de ecuația F (x *) \u003d 0. Metoda de direcții conjugate se referă la metode de minimizare fără restricții care utilizează instrumente derivate. Sarcina: Minimizarea F (X), X E N, unde F (x) este funcția țintă N a variabilelor independente. O caracteristică importantă este o convergență rapidă datorită faptului că atunci când alegeți o direcție, se utilizează matricea Hesse, care descrie zona de topologie a suprafeței de răspuns. În special, dacă funcția țintă este patrată, atunci puteți obține un punct minim de nu mai mult decât numărul de pași egali cu dimensiunea problemei.

Pentru a aplica metoda în practică, aceasta trebuie completată cu procedurile de verificare a convergenței și a independenței liniare a sistemului de direcție. Metode de ordin al doilea

Metoda Newton.

Aplicarea consecventă a schemei de armonizare patratic duce la implementarea metodei de optimizare a Newton prin formula

x K +1 \u003d x K - - 2 F (x K -1) ñ F (x K).

Dezavantajul metodei lui Newton este fiabilitatea sa insuficientă atunci când optimizează funcțiile țintă non-quadratic. Prin urmare, este adesea modificată:

x k +1 \u003d x k - A K ñ 2 F (x K -1) ñ F (x K), unde

un k este un parametru ales în așa fel încât F (x K + 1) min.

2. Găsirea unei funcții extremum fără limitare

Există o anumită funcție f (x) la un interval deschis (A, C) modificări ale argumentului X. Presupunem că există exstană în interiorul acestui interval (trebuie spus că, în general, nu se poate spune matematic; cu toate acestea, în aplicații tehnice, foarte des prezența exstanării în interiorul unui anumit interval de modificări ale argumentelor poate fi prezisă de la fizic considerente).

Definiție Exst. Funcția F (x) setată pe interval (A, B) are la punctul X * Max (min), dacă acest punct poate fi înconjurat de acest interval (X * -ε, X * + ε) conținută în interval (A, b) că pentru toate punctele sale ale intervalului aparținând (x * -ε, x * + ε), se efectuează inegalitatea:

f (x) ≤ f (x *) → pentru max

f (x) ≥ f (x *) → pentru min

Această definiție nu impune restricții privind funcțiile clasa F (X), care, desigur, este foarte valoroasă.

Dacă este limitat la funcțiile F (x), destul de comună, dar încă o clasă mai îngustă de funcții netede (sub funcții netede vom înțelege funcțiile care sunt continue cu derivații lor pe intervalul de schimbare a argumentului), puteți utiliza teorema fermei care oferă condițiile necesare pentru existență.

Teorema agricolă. Să presupunem că funcția F (x) este determinată într-un interval (A, B) și la punctul "C" din acest interval are cea mai mare (cea mai mică) valoare. Dacă în acest moment există un derivat finit față de două fețe, atunci existența este necesară.

Notă. Derivatul bilateral este caracterizat de proprietate cu alte cuvinte, este că, la punctul "C", derivatul celui și același atunci când se apropie de punctul "C" pe stânga și la dreapta, IEF (X) este o funcție netedă .

* În cazul în care există un loc și la → max. În cele din urmă, dacă la X \u003d x 0, utilizarea celui de-al doilea derivat nu ajută și trebuie să utilizați, de exemplu, definiția exstanării.

La rezolvarea problemei I, condițiile necesare sunt utilizate foarte des.

Dacă cea mai există ecuație are o rădăcină reală, punctele corespunzătoare acestor rădăcini sunt suspicioase perfecte (dar nu neapărat cele mai extreme, pentru că se ocupă de condițiile necesare și nu cu condițiile necesare și suficiente). Deci, de exemplu, la punctul de inflexiune x N deține, totuși, așa cum este cunoscut, nu este un extremum.

Rețineți, de asemenea, că:

din condițiile necesare, este imposibil să spunem ce fel de extremum este găsit max sau min: Pentru a determina acest lucru, este nevoie de cercetări suplimentare;

din condițiile necesare, este imposibil să se determine extremumul global sau local.

Prin urmare, atunci când sunt găsite puncte suspecte, acestea sunt investigate în continuare, de exemplu, pe baza definiției exstasului sau al doilea derivat.

Acest tutorial a fost pregătit pe baza cursurilor de prelegeri privind disciplina "neuroinformatică", care a fost citită din 1994 la Facultatea de Informatică și Inginerie Computer a Universității Tehnice de Stat Krasnoyarsk.

la această rată,

Următoarele capitole conțin una sau mai multe prelegeri. Materialul prezentat în capitole este oarecum mai larg ceea ce este de obicei dat la cursuri. Aplicațiile au făcut descrieri ale programelor utilizate în acest curs (

Includerea a două niveluri - nivelul cererilor de componente ale neurocomputerului universal și nivelul descrierii componentelor individuale ale neurocomputerului.

programă

sarcini pentru munca de laborator

# Autovehicule_14docroot.

# AutoDy_15docroot.

Neurocube.

# AutoDy_16docroot.

proiectul standard necomomputer

Acest manual este electronic și include programe necesare pentru a efectua lucrări de laborator.

Carte:

Secțiuni de pe această pagină:

Studiul metodelor de gradient pentru învățarea rețelelor neuronale este dedicat multor lucrări (la care se face referire la toate lucrările pe această temă nu este posibil, prin urmare, referitor la locul de muncă, în cazul în care acest subiect este studiat în cele mai detaliate). În plus, există multe publicații cu privire la metodele de gradient pentru găsirea unei funcții minime (ca în cazul precedent, referințele sunt date numai celor două lucrări care păreau cele mai de succes). Această secțiune nu solicită exhaustivitatea luării în considerare a metodelor de gradient pentru găsirea unui minim. Conține doar câteva metode utilizate în activitatea grupului Neurocomp. Toate metodele de gradient sunt combinate cu utilizarea gradientului ca bază pentru calcularea direcției de coborâre.

Metoda de coborâre formală

1. Calculați_O2.
2. O1 \u003d O2
3. Calculați_grodient.
4. Optimizarea pasului Blank_Digar pas
5. Calculați_O2.
6. Dacă O1-O2<Точность то переход к шагу 2

Smochin. 5. Metoda marelui birou

Cea mai faimoasă dintre metodele de gradient este metoda de coborâre formală. Ideea acestei metode este simplă: deoarece vectorul de gradient indică direcția definiției funcției, atunci trebuie căutat minimul în direcția opusă. Secvența de acțiuni este prezentată în fig. cinci.

Această metodă funcționează, de regulă, o ordine de mărime mai rapidă decât metodele de căutare aleatorie. Are doi parametri - acuratețea care arată că, dacă modificarea evaluării pe etapă a metodei este mai mică decât acuratețea, atunci se oprește antrenamentul; Pasul - pasul inițial pentru a optimiza pasul. Rețineți că pasul se schimbă în mod constant în timpul optimizării pasului.

Smochin. 6. Traiectoria de coborâre cu diferite configurații ale vecinătății metodelor minime și diferite de optimizare.

Să trăim pe principalele dezavantaje ale acestei metode. În primul rând, aceste metodă sunt cel puțin punctul inițial va intra în domeniul atracției. Acest minim poate să nu fie global. Există mai multe modalități de a ieși din această poziție. Cea mai simplă și mai eficientă este o schimbare aleatorie a parametrilor cu re-învățare ulterioară prin metoda marelui scurt. De regulă, această metodă permite mai multe cicluri de formare cu o schimbare accidentală ulterioară a parametrilor pentru a găsi un minim global.

Al doilea dezavantaj grav al metodei de coborâre formală este sensibilitatea sa la forma cartierului minim. În fig. 6A ilustrează traiectoria coborârii atunci când se utilizează metoda de coborâre formală, în cazul în care, în vecinătatea liniei minime a nivelului funcției de evaluare sunt luate în considerare (un caz bidimensional este luat în considerare). În acest caz, minimul este realizat într-un singur pas. În fig. 6b prezintă traiectoria metodei de coborâre formală în cazul liniilor eliptice ale nivelului. Se poate observa că, în această situație, într-o singură etapă, minimul este realizat numai din punctele situate pe axele elipselor. Din orice alt punct, coborârea va avea loc pe o ruptă, fiecare legătură care este ortogonală cu legăturile vecine, iar lungimea legăturilor scade. Este ușor să se arate că un număr infinit de pași ai metodei de coborâre a gradientului va fi obligat să atingă cu precizie minimul. Acest efect a fost numit ambulanță și metode de optimizare care să permită combaterea acestui efect - anti-mână.

kpartatan.

1. Creați_tector B1.
2. crea_vector b2.
3. Pasul \u003d 1
4. Calculați_O2.
5. Save_tector B1.
6. O1 \u003d O2
7. n \u003d 0
8. Calculați_grodient.
9. Optimizare_Shaga Blank_Digar pas
10. n \u003d n + 1
11. Dacă N. 12. Save_vector B2.
13. B2 \u003d B2-B1
14. StepPartan \u003d 1
15. Optimizarea unui pas B2 StepPartan
16. Calculate_O2.
17. Dacă O1-O2<Точность то переход к шагу 5

Smochin. 7. Metoda Kpartatan.

Una dintre cele mai simple metode anti-manuale este metoda Kpartatan. Ideea metodei este de a-și aminti punctul de plecare, apoi să efectuați pașii de optimizare K folosind metoda de coborâre formală, apoi să facă un pas de optimizare în direcția de la punctul de plecare la cel final. Descrierea metodei este prezentată în figura 7. Din figura 6B este o etapă de optimizare utilizând metoda 2Partan. Se poate observa că, după pasul de-a lungul direcției de la primul punct până la a treia traiectorie a coborârii, a condus la minimum. Din păcate, acest lucru este adevărat numai pentru un caz bidimensional. În cazul multidimensional, direcția Kpartatan nu duce direct la punctul minim, ci coborârea în această direcție, ca regulă, duce la vecinătatea unui minim de o rază mai mică decât o altă etapă a metodei de coborâre formală (vezi figura 6b). În plus, trebuie remarcat faptul că, pentru a îndeplini al treilea pas, nu a fost necesar să se calculeze gradientul, care economisește timp cu optimizare numerică.

Metoda Gauss-Zeidel

Metoda constă într-una din prima constatare a extremelor private ale funcției țintă pentru fiecare factor. În același timp, în fiecare etapă, ele stabilizează factorii (k-1) și variază doar un singur factor I

Procedura de calcul: În zona locală a spațiului factor, pe baza experimentelor preliminare, punctul corespunzător celui mai bun rezultat al procesului este ales și se deplasează la optimul din acesta. Pasul de mișcare pentru fiecare factor este stabilit de cercetător. La început, toți factorii sunt fixați la un nivel și schimbă un factor până la o creștere (scăderea) funcției de răspuns (y), apoi modificați celălalt factor la stabilizarea restului etc. până la rezultatul dorit (Y). Principalul lucru este să alegeți pasul de mișcare pentru fiecare factor.

Această metodă este cea mai simplă, vizuală, dar mișcarea la optim este lung și metoda rar duce la un punct optim. În prezent, este uneori folosit în experimentul mașinii.

Aceste metode oferă mișcări la optimul într-o linie dreaptă perpendiculară pe liniile unui răspuns egal, adică în direcția gradientului funcției de răspuns.

Metodele de gradient au mai multe soiuri care diferă în regulile de alegere a etapelor de variație și a etapelor de lucru în fiecare etapă de mișcare la extremum.

Esența tuturor metodelor este după cum urmează: inițial, pe baza experimentelor preliminare, este aleasă punctul de bază. Apoi, în fiecare etapă, experimentele de încercare sunt organizate în jurul următorului punct de bază, în funcție de rezultatele căruia se estimează noua direcție a gradientului, după care se face o etapă de lucru în această direcție.

Metoda de gradient (normală) se efectuează în conformitate cu următoarea schemă:

a) alegeți punctul de bază;

b) alegeți pașii de mișcare pentru fiecare factor;

c) să determine coordonatele punctelor de probă;

d) efectuați experimente în punctele de judecată. Ca rezultat, valorile parametrului de optimizare (Y) sunt obținute la fiecare punct.

e) Conform rezultatelor experimentelor, se calculează estimările componentelor gradientului în T. M pentru fiecare factor I-a:

unde h i i-hagg se mișcă de x i.

X I - Coordonatele punctului de operare anterior.

g) coordonatele acestui punct de lucru sunt luate pentru un nou punct de bază în jurul căruia experimentele sunt efectuate în puncte de judecată. Gradientul este calculat, etc. până la atingerea parametrului de optimizare dorit (Y). Reglarea direcției de mișcare se face după fiecare pas.

Avantajele metodei: simplitate, viteza mai mare de mișcare la optimă.

Dezavantaje: sensibilitate mare la interferență. Dacă curba are o formă complexă, metoda nu poate duce la optimă. Dacă coloana este funcția coloanei - metoda este ineficientă. Metoda nu furnizează informații privind interacțiunea factorilor.

a) Metoda de urcare abruptă (Box - Wilson).

b) luarea deciziilor după urcarea abruptă.

c) Metoda de optimizare simplăX.

d) avantajele și dezavantajele metodelor.

5.7.3 Metoda urcării abrupte (cutie - Wilson)

Această metodă este sinteza celor mai bune caracteristici ale metodelor de gradient, metoda Gauss-Zeidel și metodele PFE și DFE - ca mijloc de obținere a unui model matematic al procesului. Soluția problemei de optimizare prin această metodă se efectuează astfel încât mișcarea pasului să fie efectuată în direcția creșterii corespunzătoare (scăderea) parametrului de optimizare. Ajustarea direcției de mișcare (în contrast cu metodele de gradient) nu este făcută după fiecare pas, ci pentru a obține un extremum privat al funcției țintă. Apoi, un nou experiment de factor este stabilit la punctele private extremum, este redactat un nou model matematic și o urcare rece se repetă din nou până la atingerea optimului global. Mișcarea de gradient începe de la punctul zero (centrul planului).

Metoda de urcare rece implică mișcarea la optimă într-un gradient.

Unde i, j, k-vectori single în direcția axelor de coordonate corespunzătoare.

Ordinea calculului.

Datele sursă sunt un model matematic al procesului obținut prin orice metodă (PFE, DFE etc.).

Calculele sunt efectuate în următoarea ordine:

a) Ecuația de regresie este mai bine să se traducă într-o viziune naturală prin formule de codificare variabile:

unde x. Valoarea codată a variabilei x i;

X i - valoarea naturală a variabilei x i;

X i c-nivel central de factor în natură;

l i-interval variation factor x i in natură.

b) Calculați pașii de mișcare la optim pentru fiecare factor.

Pentru a face acest lucru, calculați produsele coeficienților ecuației de regresie în formă naturală la intervalele de variație corespunzătoare

B I * L ,

Apoi selectați modulul maxim din lucrările obținute, iar factorul corespunzător acestei lucrări este luat pentru factorul de bază (B A L A). Pentru factorul de bază, setați etapa de mișcare, care este recomandată pentru a seta un interval mai mic sau egal de variație a bazei de bază

Semnul mișcării l a "trebuie să coincidă cu coeficientul de ecuație de regresie corespunzător factorului de bază (B A). Numărul de pași pentru alți factori este calculat proporțional cu formula de bază:

Semnele de măsuri de mișcare ar trebui să coincidă, de asemenea, cu semnele coeficienților corespunzători ai ecuației de regresie.

c) Calculați funcția de răspuns în centrul planului, adică, cu valorile factorilor egali cu nivelul central al factorilor, deoarece mișcarea la optimă începe din centrul planului.

Apoi, se calculează parametrul de optimizare, mărind valorile factorilor prin valoarea pasului corespunzător al mișcării, dacă doresc să obțină Y MAX. În caz contrar, dacă este necesar să se obțină Y Min, valorile factorilor sunt reduse prin magnitudinea etapei de mișcare.

Procedura este repetată, crescând în mod consecvent numărul de pași până la atingerea valorii dorite a parametrului de optimizare (Y). Fiecare dintre factorii după g. Pașii vor fi importanți:

Dacă Y® Max. X i \u003d x i c + g I` '

dacă y® min. X i \u003d x i c-Gl I`.(5.36)