Introduzione

I modelli di regressione lineare trovano diversi usi in problemi reali., Ad esempio, una multinazionale che vuole identificare i fattori che possono influenzare le vendite del suo prodotto può eseguire una regressione lineare per scoprire quali fattori sono importanti. In econometria, i minimi quadrati ordinari (OLS) metodo è ampiamente usato per stimare il parametro di un modello di regressione lineare. Gli stimatori OLS minimizzano la somma degli errori al quadrato (una differenza tra i valori osservati e i valori previsti). Mentre OLS è computazionalmente fattibile e può essere facilmente utilizzato durante qualsiasi test di econometria, è importante conoscere le ipotesi sottostanti alla regressione OLS., Ciò è dovuto al fatto che una mancanza di conoscenza delle ipotesi OLS comporterebbe il suo uso improprio e fornirebbe risultati errati per il test di econometria completato. L’importanza delle ipotesi OLS non può essere sottovalutata. La sezione successiva descrive le ipotesi di regressione OLS.

Ipotesi di regressione OLS

Le ipotesi OLS necessarie, che vengono utilizzate per ricavare gli stimatori OLS nei modelli di regressione lineare, sono discusse di seguito.

OLS Ipotesi 1: Il modello di regressione lineare è ” lineare nei parametri.,”

Quando la variabile dipendente (Y) è una funzione lineare di variabili indipendenti (X) e il termine di errore, la regressione è lineare nei parametri e non necessariamente lineare in X. Ad esempio, considera quanto segue:

A1. Il modello di regressione lineare è ” lineare nei parametri.”

A2. C’è un campionamento casuale di osservazioni.

A3. La media condizionale dovrebbe essere zero.

A4. Non c’è multi-collinearità (o collinearità perfetta).

A5., Errori sferici: c’è omoscedasticità e nessuna autocorrelazione

A6: Ipotesi facoltativa: i termini di errore dovrebbero essere normalmente distribuiti.,

a)quad Y={ beta }_{ 0 }+{ beta }_{ 1 }{ X }_{ 1 }+{ beta }_{ 2 }{ X }_{ 2 }+varepsilon

b)quad Y={ beta }_{ 0 }+{ beta }_{ 1 }{ X }_{ { 1 }^{ 2 } }+{ beta }_{ 2 }{ X }_{ 2 }+varepsilon

c)quad Y={ beta }_{ 0 }+{ beta }_{ { 1 }^{ 2 } }{ X }_{ 1 }+{ beta }_{ 2 }{ X }_{ 2 }+varepsilon

In questi tre esempi, per a) e b) OLS ipotesi 1 è soddisfatta. Per c) L’ipotesi OLS 1 non è soddisfatta perché non è lineare nel parametro {beta} _ {1}.,

Ipotesi OLS 2: C’è un campionamento casuale di osservazioni

Questa ipotesi di regressione OLS dice che:

• Il campione prelevato per il modello di regressione lineare deve essere disegnato casualmente dalla popolazione. Ad esempio, se devi eseguire un modello di regressione per studiare i fattori che influenzano i punteggi degli studenti nell’esame finale, devi selezionare gli studenti in modo casuale dall’università durante il processo di raccolta dei dati, piuttosto che adottare una comoda procedura di campionamento.,
• Il numero di osservazioni prese nel campione per fare il modello di regressione lineare dovrebbe essere maggiore del numero di parametri da stimare. Anche questo ha senso matematicamente. Se un numero di parametri da stimare (incognite) è superiore al numero di osservazioni, la stima non è possibile. Se un numero di parametri da stimare (incognite) equivale al numero di osservazioni, allora OLS non è richiesto. Puoi semplicemente usare l’algebra.
• Le X dovrebbero essere fisse (e.le variabili indipendenti dovrebbero influenzare le variabili dipendenti)., Non dovrebbe essere il caso che le variabili dipendenti abbiano un impatto sulle variabili indipendenti. Questo perché, nei modelli di regressione, viene studiata la relazione causale e non esiste una correlazione tra le due variabili. Ad esempio, se si esegue la regressione con l’inflazione come variabile dipendente e la disoccupazione come variabile indipendente, è probabile che gli stimatori OLS non siano corretti perché con l’inflazione e la disoccupazione ci aspettiamo una correlazione piuttosto che una relazione causale.
• I termini di errore sono casuali. Questo rende la variabile dipendente casuale.,

OLS Ipotesi 3: La media condizionale dovrebbe essere zero.

Il valore atteso della media dei termini di errore della regressione OLS dovrebbe essere zero dati i valori delle variabili indipendenti.

Matematicamente, Eleft ({varepsilon} / {X} destra) = 0. Questo a volte è solo scritto come Eleft ({varepsilon} right) = 0.

In altre parole, la distribuzione dei termini di errore ha media zero e non dipende dalle variabili indipendenti X. Quindi, non ci deve essere alcuna relazione tra X e il termine di errore. ,

OLS Ipotesi 4: non c’è multi-collinearità (o collinearità perfetta).

In un semplice modello di regressione lineare, esiste solo una variabile indipendente e quindi, per impostazione predefinita, questa ipotesi rimarrà valida. Tuttavia, nel caso di più modelli di regressione lineare, ci sono più di una variabile indipendente. L’ipotesi OLS di nessuna multi-collinearità dice che non dovrebbe esserci alcuna relazione lineare tra le variabili indipendenti. Ad esempio, supponiamo di trascorrere le tue 24 ore al giorno su tre cose: dormire, studiare o giocare., Ora, se si esegue una regressione con variabile dipendente come punteggio/prestazioni dell’esame e variabili indipendenti come tempo trascorso a dormire, tempo trascorso a studiare e tempo trascorso a giocare, allora questa ipotesi non reggerà.

Questo perché esiste una perfetta collinearità tra le tre variabili indipendenti.

Tempo trascorso a dormire = 24-Tempo trascorso a studiare – Tempo trascorso a giocare.

In una situazione del genere, è meglio eliminare una delle tre variabili indipendenti dal modello di regressione lineare., Se la relazione (correlazione) tra variabili indipendenti è forte (ma non esattamente perfetta), causa ancora problemi negli stimatori OLS. Quindi, questa ipotesi OLS dice che è necessario selezionare variabili indipendenti che non sono correlate tra loro.

Un’implicazione importante di questa ipotesi di regressione OLS è che ci dovrebbe essere una variazione sufficiente nelle X. Più la variabilità in X, migliori sono le stime OLS nel determinare l’impatto di X su Y.

OLS Ipotesi 5: Errori sferici: c’è omoscedasticità e nessuna autocorrelazione. ,

Secondo questa ipotesi OLS, i termini di errore nella regressione dovrebbero avere tutti la stessa varianza.

Matematicamente, Varleft ({varepsilon} | {X } destra) = {sigma} ^ {2}.

Se questa varianza non è costante (cioè dipendente da X), allora il modello di regressione lineare ha errori eteroscedastici e probabilmente fornisce stime errate.

Questa ipotesi OLS di nessuna autocorrelazione dice che i termini di errore di diverse osservazioni non dovrebbero essere correlati tra loro.,

Matematicamente, Covleft( { { varepsilon }_{ i }{ varepsilon }_{ j}}/{X } right) =0enspace forenspace ineq j

Ad esempio, quando abbiamo dati di serie temporali (ad esempio dati annuali sulla disoccupazione), è probabile che la regressione subisca l’autocorrelazione perché la disoccupazione l’anno prossimo dipenderà sicuramente dalla disoccupazione quest’anno. Quindi, i termini di errore in diverse osservazioni saranno sicuramente correlati tra loro.

In termini semplici, questa ipotesi OLS significa che i termini di errore dovrebbero essere IID (indipendenti e distribuiti in modo identico).,

Il diagramma sopra mostra la differenza tra omoscedasticità ed eteroscedasticità. La varianza degli errori è costante in caso di omoscedasticità mentre non è il caso se gli errori sono eteroscedastici.

OLS Ipotesi 6: i termini di errore dovrebbero essere normalmente distribuiti.

Questa ipotesi afferma che gli errori sono normalmente distribuiti, condizionati dalle variabili indipendenti., Questa ipotesi OLS non è richiesta per la validità del metodo OLS; tuttavia, diventa importante quando si ha bisogno di definire alcune proprietà aggiuntive del campione finito. Si noti che solo i termini di errore devono essere distribuiti normalmente. La variabile dipendente Y non deve essere distribuita normalmente.

L’uso di ipotesi OLS

Le ipotesi OLS sono estremamente importanti. Se le ipotesi OLS da 1 a 5 sono valide, quindi secondo il teorema di Gauss-Markov, lo stimatore OLS è il miglior stimatore lineare imparziale (BLU). Queste sono proprietà desiderabili degli stimatori OLS e richiedono una discussione separata in dettaglio., Tuttavia, sotto l’attenzione è sull’importanza delle ipotesi OLS discutendo cosa succede quando falliscono e come puoi cercare potenziali errori quando le ipotesi non sono delineate.

1. The Assumption of Linearity (OLS Assumption 1) – Se si adatta un modello lineare a un dato non correlato linearmente, il modello sarà errato e quindi inaffidabile. Quando si utilizza il modello per l’estrapolazione, è probabile che si ottengano risultati errati. Quindi, dovresti sempre tracciare un grafico dei valori previsti osservati., Se questo grafico è distribuito simmetricamente lungo la linea di 45 gradi, puoi essere sicuro che l’ipotesi di linearità sia valida. Se le ipotesi di linearità non valgono, è necessario modificare la forma funzionale della regressione, che può essere eseguita prendendo trasformazioni non lineari di variabili indipendenti (cioè è possibile prendere log { X } invece di X come variabile indipendente) e quindi verificare la linearità.
2. L’assunzione di omoscedasticità (Ipotesi OLS 5) – Se gli errori sono eteroscedastici (cioè, L’assunzione OLS è violata), quindi sarà difficile fidarsi degli errori standard delle stime OLS. Quindi, gli intervalli di confidenza saranno troppo stretti o troppo larghi. Inoltre, la violazione di questa ipotesi ha la tendenza a dare troppo peso su una parte (sottosezione) dei dati. Quindi, è importante risolvere questo problema se le varianze di errore non sono costanti. Puoi facilmente verificare se le varianze degli errori sono costanti o meno. Esaminare la trama dei valori predetti dei residui o dei residui rispetto al tempo (per i modelli di serie temporali)., In genere, se il set di dati è grande, gli errori sono più o meno omoscedastici. Se il tuo set di dati è piccolo, controlla questa ipotesi.
3. The Assumption of Independence / No Autocorrelation (OLS Assumption 5) – Come discusso in precedenza, questa ipotesi è più probabile che venga violata nei modelli di regressione delle serie temporali e, quindi, l’intuizione dice che non è necessario indagarla. Tuttavia, è ancora possibile verificare l’autocorrelazione visualizzando il grafico delle serie temporali residue., Se l’autocorrelazione è presente nel modello, è possibile provare a prendere ritardi di variabili indipendenti per correggere il componente di tendenza. Se non si corregge l’autocorrelazione, le stime OLS non saranno BLU e non saranno abbastanza affidabili.
4. L’assunzione di normalità degli errori (Ipotesi OLS 6) – Se i termini di errore non sono normali, gli errori standard delle stime OLS non saranno affidabili, il che significa che gli intervalli di confidenza sarebbero troppo ampi o stretti. Inoltre, gli stimatori OLS non avranno la proprietà BLU desiderabile., Un grafico di probabilità normale o un grafico quantile normale può essere utilizzato per verificare se i termini di errore sono normalmente distribuiti o meno. Un modello deviato a forma di arco in questi grafici rivela che gli errori non sono normalmente distribuiti. A volte gli errori non sono normali perché l’ipotesi di linearità non regge. Quindi, vale la pena verificare nuovamente l’ipotesi di linearità se questa ipotesi fallisce.,
5. Assunzione di nessuna multicollinearità (ipotesi OLS 4) – È possibile verificare la multicollinearità creando una matrice di correlazione (anche se ci sono altri modi complessi di controllarli come il fattore di inflazione della varianza, ecc.). Quasi un’indicazione sicura della presenza di multi-collinearità è quando si ottengono segni opposti (inaspettati) per i coefficienti di regressione (e. se ci si aspetta che la variabile indipendente abbia un impatto positivo sulla variabile dipendente, ma si ottiene un segno negativo del coefficiente dal modello di regressione)., È altamente probabile che la regressione soffra di multi-collinearità. Se la variabile non è così importante intuitivamente, l’eliminazione di tale variabile o di una qualsiasi delle variabili correlate può risolvere il problema.
6. Le ipotesi OLS 1, 2 e 4 sono necessarie per l’impostazione del problema OLS e la sua derivazione. Il campionamento casuale, le osservazioni maggiori del numero di parametri e la regressione lineare nei parametri fanno parte della configurazione della regressione OLS. L’assunzione di nessuna collinearità perfetta consente di risolvere le condizioni del primo ordine nella derivazione delle stime OLS.,

Conclusione

I modelli di regressione lineare sono estremamente utili e hanno una vasta gamma di applicazioni. Quando li usi, fai attenzione che tutte le ipotesi di regressione OLS siano soddisfatte mentre fai un test di econometria in modo che i tuoi sforzi non vadano sprecati. Queste ipotesi sono estremamente importanti, e non si può semplicemente trascurarle. Detto questo, molte volte queste ipotesi OLS saranno violate. Tuttavia, ciò non dovrebbe impedirti di condurre il tuo test econometrico., Piuttosto, quando l’ipotesi viene violata, applicare le correzioni corrette e quindi eseguire il modello di regressione lineare dovrebbe essere la via d’uscita per un test econometrico affidabile.

Credi di poter eseguire in modo affidabile una regressione OLS? Fateci sapere nella sezione commenti qui sotto!

Cerchi la pratica dell’econometria?

Puoi trovare migliaia di domande di pratica su Albert.io. Albert.io consente di personalizzare la vostra esperienza di apprendimento al bersaglio pratica in cui è necessario il maggior aiuto. Ti daremo domande pratiche impegnative per aiutarti a raggiungere la padronanza dell’econometria.,

Inizia a praticare qui.

Sei un insegnante o un amministratore interessato a migliorare i risultati degli studenti di biologia AP®?

Scopri di più sulle nostre licenze scolastiche qui.