Movimento média estritamente estacionário no Brasil

Assim como o título sugere, este é meu problema: Seja Zt uma seqüência estritamente estacionária. Definir Xt Zt theta Z. Mostre que esta seqüência é também estritamente estacionária. Heres meu problema. Minha definição de estritamente estacionário é que temos a distribuição de (Zt, Z, dots, Z) é independente de t para todo t em mathbb e todos h em mathbb. Mas como eu vejo que temos (Xt, X, pontos, X) (Zt theta Z, pontos, Z theta Z) que seria independente de t-1 por como Zt é assumido como sendo. Eu não acho que isso é um problema real: a independência de t-1 é a mesma que a independência de t e você vê-lo claramente, escrevendo-o mais explicitamente: para H1 você simplesmente obter Zttheta Z sim Z teta Ztquadforall tinmathbb Z que é o mesmo forall (t-1) inmathbb Z. Não se confunda pela dependência das variáveis, stationarity é sobre a sua distribuição de fato uma série constante tem variáveis ​​dependentes cuja distribuição É independente de t. Ou eu entendi mal sua pergunta? Uma breve série de tempo é uma função aleatória x t de um argumento t em um conjunto T. Em outras palavras, uma série de tempo é uma família de variáveis ​​aleatórias. X t-1. X t. X t1. Correspondente a todos os elementos no conjunto T, onde T é suposto ser um conjunto infinito e numerável. Definição Uma série temporal observada t t e T o T é considerada como parte de uma realização de uma função aleatória x t. Um conjunto infinito de realizações possíveis que poderiam ter sido observadas é chamado conjunto. Para colocar as coisas com mais rigor, a série temporal (ou função aleatória) é uma função real x (w, t) das duas variáveis ​​w e t, onde wW e t T. Se fixarmos o valor de w. Temos uma função real x (t w) do tempo t, que é uma realização da série temporal. Se fixarmos o valor de t, então temos uma variável aleatória x (w t). Para um determinado ponto no tempo há uma distribuição de probabilidade sobre x. Assim, uma função aleatória x (w, t) pode ser considerada como uma família de variáveis ​​aleatórias ou como uma família de realizações. Definição Definimos a função de distribuição da variável aleatória w dada t 0 como P o) x (x). Da mesma forma, podemos definir a distribuição conjunta para n variáveis ​​aleatórias. Os pontos que distinguem a análise de séries temporais de análises estatísticas ordinárias são os seguintes: (1) A dependência entre observações em diferentes momentos cronológicos desempenha um papel essencial. Em outras palavras, a ordem das observações é importante. Na análise estatística ordinária assume-se que as observações são mutuamente independentes. (2) O domínio de t é infinito. (3) Temos de fazer uma inferência a partir de uma realização. A realização da variável aleatória pode ser observada apenas uma vez em cada ponto no tempo. Na análise multivariada temos muitas observações sobre um número finito de variáveis. Esta diferença crítica necessita da suposição de estacionaridade. Definição A função aleatória x t é dita ser estritamente estacionária se todas as funções de distribuição dimensional finita definindo x t permanecem as mesmas mesmo que todo o grupo de pontos t 1. T 2. T n é deslocado ao longo do eixo do tempo. Ou seja, se para quaisquer inteiros t 1. T 2. T n e k. Graficamente, pode-se imaginar a realização de uma série estritamente estacionária como tendo não apenas o mesmo nível em dois intervalos diferentes, mas também a mesma função de distribuição, até os parâmetros que a definem. O pressuposto da estacionaridade torna nossas vidas mais simples e menos dispendiosas. Sem estacionaridade, teríamos que amostrar o processo com freqüência em cada ponto de tempo, a fim de construir uma caracterização das funções de distribuição na definição anterior. Estacionaridade significa que podemos limitar nossa atenção a algumas das funções numéricas mais simples, isto é, os momentos das distribuições. Os momentos centrais são dados pela Definição (i) O valor médio da série temporal t é i. e. o momento da primeira ordem. (Ii) A função de autocovariância de t é i. e. o segundo momento em relação à média. Se ts, então você tem a variância de x t. Usaremos para denotar a autocovariância de uma série estacionária, onde k denota a diferença entre t e s. (Iii) A função de autocorrelação (ACF) de t é We We We We We We We............................... (Iv) A autocorrelação parcial (PACF). Fkk. É a correlação entre z t e z tk após a remoção de sua dependência linear mútua das variáveis ​​intervenientes z t1. Z t2. Z tk-1. Uma maneira simples de calcular a autocorrelação parcial entre z t e z tk é executar as duas regressões e depois calcular a correlação entre os dois vetores residuais. Ou, depois de medir as variáveis ​​como desvios de suas médias, a autocorrelação parcial pode ser encontrada como o coeficiente de regressão LS em z t no modelo onde o ponto sobre a variável indica que ele é medido como um desvio de sua média. (V) As equações de Yule-Walker fornecem uma relação importante entre as autocorrelações parciais e as autocorrelações. Multiplique ambos os lados da equação 10 por z tk-j e tome as expectativas. Esta operação nos dá a seguinte equação de diferença nas autocovariâncias ou, em termos das autocorrelações Esta representação aparentemente simples é realmente um resultado poderoso. Ou seja, para j1,2. K podemos escrever o sistema completo de equações, conhecido como as equações de Yule-Walker, da álgebra linear você sabe que a matriz de r s é de grau completo. Portanto, é possível aplicar regra Cramers sucessivamente para k1,2. Para resolver o sistema para as autocorrelações parciais. Os três primeiros são: Temos três resultados importantes em séries estritamente estacionárias. A implicação é que podemos usar qualquer realização finita da seqüência para estimar a média. Em segundo lugar. Se t é estritamente estacionário e E t 2 lt então A implicação é que a autocovariância depende apenas da diferença entre t e s, não o seu ponto cronológico no tempo. Poderíamos usar qualquer par de intervalos na computação da autocovariância enquanto o tempo entre eles fosse constante. E podemos usar qualquer realização finita dos dados para estimar as autocovariâncias. A implicação é que a autocorrelação depende apenas da diferença entre t e s, bem como, e novamente eles podem ser estimados por qualquer realização finita dos dados. Se nosso objetivo é estimar parâmetros que são descritivos das possíveis realizações da série temporal, então talvez a estrita estacionaridade seja muito restritiva. Por exemplo, se a média e as covariâncias de x t são constantes e independentes do ponto cronológico no tempo, talvez não seja importante para nós que a função de distribuição seja a mesma para diferentes intervalos de tempo. Definição Uma função aleatória é estacionária no sentido amplo (ou fracamente estacionária, ou estacionária no sentido de Khinchins, ou covariância estacionária) se m 1 (t) m e m 11 (t, s). A estacionaridade estrita não implica, por si só, uma fraca estacionaridade. Estacionaridade fraca não implica estacionariedade estrita. A estrita estacionaridade com E t 2 lt implica fraca estacionaridade. Os teoremas ergódicos preocupam-se com a questão das condições necessárias e suficientes para inferir a partir de uma única realização de séries temporais. Basicamente, resume-se a assumir fraca estacionaridade. Teorema Se t é fracamente estacionário com média m e função de covariância, então Isto é, para qualquer dado e gt 0 e h gt 0 existe algum número T o tal que para todo T gt T o. Se e somente se Esta condição necessária e suficiente é que as autocovariâncias morrem, caso em que a média da amostra é um estimador consistente para a média da população. Corolário Se t é fracamente estacionário com E tk xt 2 lt para qualquer t, e E tk xtx tsk x ts é independente de t para qualquer inteiro s, então se e somente se onde A consequência do corolário é a suposição de que xtx tk é Fracamente estacionário. O Teorema Ergódico não é mais do que uma lei de grande número quando as observações são correlacionadas. Poder-se-ia perguntar neste momento sobre as implicações práticas da estacionariedade. A aplicação mais comum do uso de técnicas de séries temporais está na modelagem de dados macroeconômicos, tanto teóricos como ateóricos. Como exemplo do primeiro, pode-se ter um modelo multiplicador-acelerador. Para que o modelo seja estacionário, os parâmetros devem ter determinados valores. Um teste do modelo é então recolher os dados relevantes e estimar os parâmetros. Se as estimativas não forem consistentes com a estacionaridade, então é preciso repensar o modelo teórico ou o modelo estatístico, ou ambos. Agora temos máquinas suficientes para começar a falar sobre a modelagem de dados de séries temporais univariadas. Há quatro etapas no processo. 1. construção de modelos a partir do conhecimento teórico ou experiencial; 2. identificação de modelos baseados nos dados (séries observadas); 3. montagem dos modelos (estimativa dos parâmetros do (s) modelo (s)); 4. verificação do modelo. Se na quarta etapa não formos Satisfeito, voltamos para o primeiro passo. O processo é iterativo até que mais verificações e reespecificações não produzam mais melhorias nos resultados. Diagramaticamente Definição Algumas operações simples incluem o seguinte: O operador de retrocesso Bx tx t-1 O operador de avanço Fx tx t1 O operador de diferença 1 - B xtxt - x t-1 O operador de diferença comporta-se de uma forma consistente com a constante em uma série infinita . Ou seja, seu inverso é o limite de uma soma infinita. Nomeadamente, -1 (1-B) -1 1 (1-B) 1BB 2. O operador de integração S-1 Como é o inverso do operador de diferença, o operador de integração serve para construir a soma. MODEL BUILDING Nesta seção, oferecemos uma breve revisão dos modelos mais comuns de séries temporais. Com base no conhecimento do processo de geração de dados, escolhe-se uma classe de modelos para identificação e estimativa a partir das possibilidades que se seguem. Definição Suponha que Ex t m seja independente de t. Um modelo como com as características é chamado o modelo autorregressivo de ordem p, AR (p). Definição Se uma variável dependente do tempo (processo estocástico) t satisfaz então t é dito satisfazer a propriedade de Markov. Na LHS a expectativa é condicionada à história infinita de x t. No RHS é condicionada apenas uma parte da história. A partir das definições, um modelo AR (p) é visto para satisfazer a propriedade Markov. Usando o operador backshift podemos escrever nosso modelo AR como Teorema A condição necessária e suficiente para o modelo AR (p) ser estacionário é que todas as raízes do polinômio estão fora do círculo unitário. Exemplo 1 Considere o AR (1) A única raiz de 1 - f 1 B 0 é B 1 f 1. A condição para estacionaridade requer que. Se então a série observada aparecerá muito frenética. Por exemplo. Considere em que o termo de ruído branco tem uma distribuição normal com uma média zero e uma variância de um. As observações mudam de sinal com quase todas as observações. Se, por outro lado, então a série observada será muito mais suave. Nesta série, uma observação tende a estar acima de 0 se o seu predecessor estiver acima de zero. A variância de e t é s e 2 para todo t. A variância de x t. Quando ele tem média zero, é dado por. Como a série é estacionária, podemos escrever. Portanto, a função de autocovariância de uma série AR (1) é, supondo sem perda de generalidade m 0 Para ver o que isto parece em termos dos parâmetros AR, usaremos o fato de que podemos escrever xt como se segue Multiplicando por x Tk e tendo expectativas Note que as autocovariâncias morrem como k cresce. A função de autocorrelação é a autocovariância dividida pela variância do termo de ruído branco. Ou,. Usando as fórmulas anteriores de Yule-Walker para as autocorrelações parciais, temos Para um AR (1) as autocorrelações morrem exponencialmente e as autocorrelações parciais exibem um pico em um lag e são zero depois disso. Exemplo 2 Considere o AR (2) O polinômio associado no operador de atraso é As raízes poderiam ser encontradas usando a fórmula quadrática. As raízes são Quando as raízes são reais e, como consequência, a série declinará exponencialmente em resposta a um choque. Quando as raízes são complexas ea série aparecerá como uma onda de sinal amortecido. O teorema da estacionaridade impõe as seguintes condições nos coeficientes AR A autocovariância para um processo AR (2), com média zero, é Dividindo através da variância de xt dá a função de autocorrelação Uma vez que podemos escrever Similarmente para a segunda e terceira autocorrelações As outras As autocorrelações são resolvidas de forma recursiva. Seu padrão é governado pelas raízes da equação de diferença linear de segunda ordem. Se as raízes são reais, então as autocorrelações declinarão exponencialmente. Quando as raízes são complexas, as autocorrelações aparecerão como uma onda senoidal amortecida. Usando as equações de Yule-Walker, as autocorrelações parciais são novamente, as autocorrelações morrem lentamente. A autocorrelação parcial, por outro lado, é bastante distinta. Tem picos em um e dois lags e é zero em seguida. Teorema Se x t é um processo estacionário AR (p), então ele pode ser escrito de forma equivalente como um modelo de filtro linear. Ou seja, o polinômio no operador backshift pode ser invertido eo AR (p) escrito como uma média móvel de ordem infinita em seu lugar. Exemplo Suponha que z t seja um processo AR (1) com média zero. O que é verdadeiro para o período atual também deve ser verdadeiro para períodos anteriores. Assim, por substituição recursiva, podemos escrever Quadrado em ambos os lados e tomar as expectativas o lado direito desaparece como k desde f lt 1. Portanto, a soma converge para z t em média quadrática. Podemos reescrever o modelo AR (p) como um filtro linear que sabemos estar parado. A Função de Autocorrelação e Autocorrelação Parcial Geralmente Suponha que uma série estacionária zt com zero médio é conhecida por ser autorregressiva. A função de autocorrelação de um AR (p) é encontrada tomando-se as expectativas e dividindo-se pela variância de z t Isso nos diz que r k é uma combinação linear das autocorrelações anteriores. Podemos usar isso na aplicação da regra Cramers para (i) na resolução de f kk. Em particular, podemos ver que esta dependência linear causará f kk 0 para k gt p. Esta característica distintiva da série autorregressiva será muito útil quando se trata de identificação de uma série desconhecida. Se você tem ou MathCAD ou MathCAD Explorer, então você pode experimentar interactivley com algumas das idéias AR (p) apresentadas aqui. Modelos de média móvel Considere um modelo dinâmico em que a série de interesse depende apenas de alguma parte da história do termo de ruído branco. Diagramaticamente isto pode ser representado como Definição Suponha que t é uma sequência não correlacionada de i. i.d. Variáveis ​​aleatórias com média nula e variância finita. Então, um processo de média móvel de ordem q, MA (q), é dado pelo Teorema: Um processo de média móvel é sempre estacionário. Prova: Em vez de começar com uma prova geral vamos fazê-lo para um caso específico. Suponha que z t seja MA (1). Então . Evidentemente, um t tem média zero e variância finita. A média de z t é sempre zero. As autocovariâncias serão dadas por Você pode ver que a média da variável aleatória não depende do tempo de forma alguma. Você também pode ver que a autocovariância depende apenas do deslocamento s, não de onde na série começamos. Podemos provar o mesmo resultado de forma mais geral, começando com, o que tem a representação da média móvel alternativa. Considere primeiro a variância de z t. Por substituição recursiva você pode mostrar que isso é igual a Soma que sabemos ser uma série convergente, então a variância é finita e é independente do tempo. As covariâncias são, por exemplo, Você também pode ver que as covariâncias automáticas dependem apenas dos pontos relativos no tempo, não o ponto cronológico no tempo. Nossa conclusão de tudo isso é que um processo de MA () é estacionário. Para o processo MA (q) geral, a função de autocorrelação é dada por: A função de autocorrelação parcial irá morrer suavemente. Você pode ver isso invertendo o processo para obter um processo AR (). Se você tiver MathCAD ou MathCAD Explorer, então você pode experimentar interativamente com algumas das idéias MA (q) apresentadas aqui. Múltiplo Autoregressive - Moving Average Models Definição Suponha que a t é uma sequência não correlacionada de i. i.d. Variáveis ​​aleatórias com média zero e variância finita. Em seguida, um processo de ordem média autorregressiva, de ordem (p, q), ARMA (p, q), é dado por: As raízes do operador autorregressivo devem estar todas fora do círculo unitário. O número de incógnitas é pq2. Os p e q são óbvios. O 2 inclui o nível do processo, m. E a variância do termo de ruído branco, sa 2. Suponha que combinamos nossas representações AR e MA de modo que o modelo seja e os coeficientes sejam normalizados de modo que bo 1. Então esta representação é chamada ARMA (p, q) se a As raízes de (1) estão todas fora do círculo unitário. Suponha que os y t sejam medidos como desvios da média para que possamos soltar um o. Então a função de autocovariância é derivada de se jgtq então os termos de MA caem na expectativa de dar Isso é, a função de autocovariância parece um AR típico para atrasos após q eles morrem suavemente após q, mas não podemos dizer como 1,2,133, Q vai olhar. Podemos também examinar o PACF para esta classe de modelo. O modelo pode ser escrito como podemos escrever isso como um MA (inf) processo que sugere que o PACFs morrer lentamente. Com alguma aritmética, poderíamos mostrar que isto acontece somente após os primeiros p picos contribuídos pela parte AR. Lei empírica Na realidade, uma série de tempo estacionária pode bem ser representada por p 2 e q 2. Se o seu negócio é fornecer uma boa aproximação à realidade e bondade de ajuste é o seu critério, em seguida, um modelo pródigo é preferido. Se o seu interesse é a eficiência preditiva, então o modelo parcimonioso é preferido. Experimente as idéias ARMA apresentadas acima com uma planilha MathCAD. Autoregressive Integrar Moving Average Models Filtro MA Filtro AR Integrar filtro Às vezes, o processo, ou série, que estamos tentando modelar não está parado em níveis. Mas pode ser parado em, digamos, as primeiras diferenças. Isto é, em sua forma original, as autocovariâncias para a série podem não ser independentes do ponto cronológico no tempo. No entanto, se construímos uma nova série que é as primeiras diferenças da série original, esta nova série satisfaz a definição de estacionariedade. Este é frequentemente o caso com dados económicos que é altamente tendência. Definição Suponha que z t não é estacionária, mas z t - z t-1 satisfaz a definição de estacionariedade. Além disso, em, o termo de ruído branco tem média finita e variância. Podemos escrever o modelo como Este é chamado um modelo ARIMA (p, d, q). P identifica a ordem do operador AR, d identifica o poder ligado. Q identifica a ordem do operador MA. Se as raízes de f (B) estão fora do círculo unitário, então podemos reescrever o ARIMA (p, d, q) como um filtro linear. I. e. Ele pode ser escrito como um MA (). Reservamos a discussão sobre a detecção de raízes unitárias para outra parte das notas da aula. Considere um sistema dinâmico com x t como uma série de entrada e y t como uma série de saída. Diagramaticamente temos Estes modelos são uma analogia discreta de equações diferenciais lineares. Suponhamos a seguinte relação onde b indica um atraso puro. Lembre-se que (1-B). Fazendo esta substituição o modelo pode ser escrito Se o coeficiente polinomial em y t pode ser invertido, então o modelo pode ser escrito como V (B) é conhecido como a função de resposta ao impulso. Encontraremos essa terminologia novamente em nossa discussão posterior sobre o vetor autorregressivo. Modelos de co-integração e correção de erros. IDENTIFICAÇÃO DO MODELO Tendo decidido uma classe de modelos, é preciso agora identificar a ordem dos processos que geram os dados. Ou seja, deve-se fazer melhores suposições quanto à ordem dos processos AR e MA dirigindo a série estacionária. Uma série estacionária é completamente caracterizada por sua média e autocovariâncias. Por razões analíticas usualmente trabalhamos com as autocorrelações e autocorrelações parciais. Essas duas ferramentas básicas têm padrões exclusivos para processos AR e MA estacionários. Poder-se-ia calcular estimativas de amostra das funções de autocorrelação e autocorrelação parcial e compará-las com resultados tabulados para modelos padrão. Exemplo de Função de Autocovariância Função de Autocorrelação de Amostra As autocorrelações parciais de amostra serão Usando as autocorrelações e autocorrelações parciais é bastante simples em princípio. Suponha que temos uma série z t. Com média zero, que é AR (1). Se tivéssemos de executar a regressão de z t2 em z t1 e z t, esperaríamos achar que o coeficiente em z t não era diferente de zero uma vez que esta autocorrelação parcial deveria ser zero. Por outro lado, as autocorrelações para esta série devem estar diminuindo exponencialmente para atrasos crescentes (veja o exemplo AR (1) acima). Suponha que a série é realmente uma média móvel. A autocorrelação deve ser zero em todos os lugares, mas no primeiro lag. A autocorrelação parcial deve morrer exponencialmente. Mesmo a partir de nossa brincadeira muito superficial através do básico de análise de séries temporais é evidente que há uma dualidade entre AR e MA processos. Esta dualidade pode ser resumida na tabela a seguir. Média Movente Sub-Regresiva ARMA (p, q) Modelos para Análise de Série de Tempo - Parte 1 No último artigo analisamos caminhadas aleatórias e ruído branco como modelos básicos de séries temporais para certos instrumentos financeiros, como Como os preços diários de acções e de acções. Descobrimos que, em alguns casos, um modelo de caminhada aleatória foi insuficiente para captar o comportamento de autocorrelação total do instrumento, o que motiva modelos mais sofisticados. No próximo par de artigos vamos discutir três tipos de modelo, a saber, o Modelo Autoregressivo (AR) de ordem p, o Modelo de Média Móvel (MO) de ordem q eo modelo ARMA (Mixed Autogressive Moving Average) de ordem p , Q. Estes modelos nos ajudarão a tentar capturar ou explicar mais da correlação serial presente dentro de um instrumento. Em última análise, eles nos fornecerão um meio de prever os preços futuros. No entanto, é bem sabido que as séries temporais financeiras possuem uma propriedade conhecida como agrupamento de volatilidade. Ou seja, a volatilidade do instrumento não é constante no tempo. O termo técnico para esse comportamento é conhecido como heterocedasticidade condicional. Como os modelos AR, MA e ARMA não são condicionalmente heteroscedásticos, ou seja, não levam em conta o agrupamento de volatilidade, acabaremos por precisar de um modelo mais sofisticado para nossas previsões. Tais modelos incluem o modelo condutor condicional condicional (ARCH) e modelo Heteroskedastic condicional condicional generalizado (GARCH), e as muitas variantes dele. GARCH é particularmente bem conhecido em finanças de quant e é usado primeiramente para simulações financeiras da série de tempo como um meio de estimar o risco. No entanto, como com todos os artigos do QuantStart, eu quero construir esses modelos a partir de versões mais simples para que possamos ver como cada nova variante muda nossa capacidade de previsão. Apesar de AR, MA e ARMA serem modelos de séries temporais relativamente simples, eles são a base de modelos mais complicados, como a Média Móvel Integrada Autoregressiva (ARIMA) ea família GARCH. Por isso, é importante que os estudemos. Uma das nossas primeiras estratégias de negociação na série de artigos de séries temporais será combinar ARIMA e GARCH para prever preços n períodos de antecedência. No entanto, teremos que esperar até que discutimos ambos ARIMA e GARCH separadamente antes de aplicá-los a uma estratégia real. Como vamos prosseguir Neste artigo vamos esboçar alguns novos conceitos de série de tempo que bem precisam para os restantes métodos, Estacionário eo critério de informação Akaike (AIC). Subseqüentemente a esses novos conceitos, seguiremos o padrão tradicional para estudar novos modelos de séries temporais: Justificativa - A primeira tarefa é fornecer uma razão por que estavam interessados ​​em um determinado modelo, como quants. Por que estamos introduzindo o modelo de séries temporais Que efeitos pode capturar O que ganhamos (ou perdemos) adicionando complexidade extra Definição - Precisamos fornecer a definição matemática completa (e notação associada) do modelo de série temporal para minimizar Qualquer ambiguidade. Propriedades de Segunda Ordem - Vamos discutir (e em alguns casos derivar) as propriedades de segunda ordem do modelo de séries temporais, que inclui sua média, sua variância e sua função de autocorrelação. Correlograma - Usaremos as propriedades de segunda ordem para traçar um correlograma de uma realização do modelo de séries temporais para visualizar seu comportamento. Simulação - Vamos simular as realizações do modelo de série de tempo e, em seguida, ajustar o modelo para estas simulações para garantir que temos implementações precisas e compreender o processo de montagem. Dados Financeiros Reais - Ajustaremos o modelo da série de tempo aos dados financeiros reais e consideraremos o correlograma dos resíduos para ver como o modelo explica a correlação serial na série original. Previsão - Vamos criar n-passo adiante previsões do modelo de série de tempo para realizações particulares, a fim de produzir sinais de negociação. Quase todos os artigos que escrevo sobre modelos de séries temporais cairão nesse padrão e nos permitirá comparar facilmente as diferenças entre cada modelo à medida que adicionamos mais complexidade. Vamos começar por olhar para a estacionaridade rigorosa ea AIC. Estritamente estacionária Nós fornecemos a definição de estacionariedade no artigo sobre correlação serial. No entanto, porque vamos entrar no reino de muitas séries financeiras, com várias freqüências, precisamos ter certeza de que nossos (eventuais) modelos levam em conta a volatilidade variável no tempo dessas séries. Em particular, precisamos considerar sua heterocedasticidade. Encontraremos este problema quando tentarmos ajustar certos modelos a séries históricas. Geralmente, nem toda a correlação seriada nos resíduos dos modelos ajustados pode ser considerada sem levar em consideração a heterocedasticidade. Isso nos leva de volta à estacionária. Uma série não é estacionária na variância se tiver volatilidade variável no tempo, por definição. Isso motiva uma definição mais rigorosa de estacionariedade, ou seja, a estacionariedade estrita: estritamente estacionária série A modelo de série temporal, é estritamente estacionário se a distribuição estatística conjunta dos elementos x, ldots, x é o mesmo que xm, ldots, xm, Para todos ti, m. Pode-se pensar nesta definição como simplesmente que a distribuição da série temporal é inalterada para qualquer deslocamento abritário no tempo. Em particular, a média ea variância são constantes no tempo para uma série estritamente estacionária ea autocovariância entre xt e xs (digamos) depende apenas da diferença absoluta de t e s, t-s. Estaremos revisitando estritamente séries estacionárias em posts futuros. Critério de Informação Akaike Eu mencionei em artigos anteriores que eventualmente precisaria considerar como escolher entre melhores modelos separados. Isto é verdade não só de análise de séries temporais, mas também de aprendizagem de máquinas e, em termos mais gerais, de estatísticas em geral. Os dois principais métodos que usaremos (por enquanto) são o Critério de Informação Akaike (AIC) e o Critério de Informação Bayesiano (conforme avançamos com nossos artigos sobre Estatísticas Bayesianas). Bem, brevemente considerar a AIC, como ele será usado na Parte 2 do ARMA artigo. AIC é essencialmente uma ferramenta para auxiliar na seleção do modelo. Ou seja, se tivermos uma seleção de modelos estatísticos (incluindo séries temporais), então a AIC estima a qualidade de cada modelo, em relação aos outros que temos disponíveis. Baseia-se na teoria da informação. Que é um tópico altamente interessante, profundo que infelizmente não podemos entrar em muito detalhe sobre. Ele tenta equilibrar a complexidade do modelo, que neste caso significa o número de parâmetros, com o quão bem ele se encaixa os dados. Vamos fornecer uma definição: Critério de Informação Akaike Se tomarmos a função de verossimilhança para um modelo estatístico, que tem k parâmetros, e L maximiza a probabilidade. Então o Critério de Informação Akaike é dado por: O modelo preferido, a partir de uma seleção de modelos, tem o mínimo AIC do grupo. Você pode ver que a AIC cresce à medida que o número de parâmetros, k, aumenta, mas é reduzido se a probabilidade de log negativo aumentar. Essencialmente penaliza modelos que são overfit. Vamos criar modelos AR, MA e ARMA de várias ordens e uma maneira de escolher o melhor modelo para um determinado conjunto de dados é usar o AIC. Isto é o que bem estar fazendo no próximo artigo, principalmente para modelos ARMA. Modelos auto-regressivos de ordem p O primeiro modelo que irão considerar, que forma a base da Parte 1, é o modelo Autoregressivo de ordem p, muitas vezes abreviado para AR (p). No artigo anterior consideramos a caminhada aleatória. Onde cada termo, xt é dependente unicamente do termo anterior, x e um termo estocástico de ruído branco, wt: O modelo autorregressivo é simplesmente uma extensão da caminhada aleatória que inclui termos mais atrás no tempo. A estrutura do modelo é linear. Que é o modelo depende linearmente sobre os termos anteriores, com coeficientes para cada termo. Isto é de onde o regressivo vem em autorregressivo. É essencialmente um modelo de regressão onde os termos anteriores são os preditores. Modelo auto-regressivo de ordem p Um modelo de série temporal,, é um modelo autorregressivo de ordem p. AR (p), se: begin xt alfa1 x ldots alfa x wt soma p alphai x wt end Onde está o ruído branco e alphai em mathbb, com alfap neq 0 para um processo autorregressivo p-order. Se considerarmos o Backward Shift Operator. (Veja o artigo anterior), então podemos reescrever o acima como uma função theta de: begin thetap () xt (1 - alpha1 - alpha2 2 - ldots - alphap) xt wt end Talvez a primeira coisa a notar sobre o modelo AR (p) É que uma caminhada aleatória é simplesmente AR (1) com alfa1 igual à unidade. Como já dissemos acima, o modelo autogressivo é uma extensão da caminhada aleatória, então isso faz sentido. É fácil fazer previsões com o modelo AR (p), para qualquer tempo t, uma vez que temos os coeficientes alfa determinados, nossa estimativa Simplesmente torna-se: começar hat t alfa1 x ldots alphap x final Por isso podemos fazer n-passo adiante previsões produzindo chapéu t, chapéu, chapéu, etc até chapéu. De fato, quando considerarmos os modelos ARMA na Parte 2, usaremos a função R predict para criar previsões (juntamente com bandas de intervalo de confiança de erro padrão) que nos ajudarão a produzir sinais de negociação. Estacionariedade para Processos Autoregressivos Um dos aspectos mais importantes do modelo AR (p) é que nem sempre é estacionário. De fato, a estacionaridade de um modelo particular depende dos parâmetros. Ive tocou sobre isso antes em um artigo anterior. Para determinar se um processo AR (p) é estacionário ou não, precisamos resolver a equação característica. The characteristic equation is simply the autoregressive model, written in backward shift form, set to zero: We solve this equation for . In order for the particular autoregressive process to be stationary we need all of the absolute values of the roots of this equation to exceed unity. This is an extremely useful property and allows us to quickly calculate whether an AR(p) process is stationary or not. Lets consider a few examples to make this idea concrete: Random Walk - The AR(1) process with alpha1 1 has the characteristic equation theta 1 - . Clearly this has root 1 and as such is not stationary. AR(1) - If we choose alpha1 frac we get xt frac x wt. This gives us a characteristic equation of 1 - frac 0, which has a root 4 gt 1 and so this particular AR(1) process is stationary. AR(2) - If we set alpha1 alpha2 frac then we get xt frac x frac x wt. Its characteristic equation becomes - frac ( )( ) 0, which gives two roots of 1, -2. Since this has a unit root it is a non-stationary series. However, other AR(2) series can be stationary. Second Order Properties The mean of an AR(p) process is zero. However, the autocovariances and autocorrelations are given by recursive functions, known as the Yule-Walker equations. The full properties are given below: begin mux E(xt) 0 end begin gammak sum p alphai gamma , enspace k 0 end begin rhok sum p alphai rho , enspace k 0 end Note that it is necessary to know the alphai parameter values prior to calculating the autocorrelations. Now that weve stated the second order properties we can simulate various orders of AR(p) and plot the corresponding correlograms. Simulations and Correlograms Lets begin with an AR(1) process. This is similar to a random walk, except that alpha1 does not have to equal unity. Our model is going to have alpha1 0.6. The R code for creating this simulation is given as follows: Notice that our for loop is carried out from 2 to 100, not 1 to 100, as xt-1 when t0 is not indexable. Similarly for higher order AR(p) processes, t must range from p to 100 in this loop. We can plot the realisation of this model and its associated correlogram using the layout function: Lets now try fitting an AR(p) process to the simulated data weve just generated, to see if we can recover the underlying parameters. You may recall that we carried out a similar procedure in the article on white noise and random walks . As it turns out R provides a useful command ar to fit autoregressive models. We can use this method to firstly tell us the best order p of the model (as determined by the AIC above) and provide us with parameter estimates for the alphai, which we can then use to form confidence intervals. For completeness, lets recreate the x series: Now we use the ar command to fit an autoregressive model to our simulated AR(1) process, using maximum likelihood estimation (MLE) as the fitting procedure. We will firstly extract the best obtained order: The ar command has successfully determined that our underlying time series model is an AR(1) process. We can then obtain the alphai parameter(s) estimates: The MLE procedure has produced an estimate, hat 0.523, which is slightly lower than the true value of alpha1 0.6. Finally, we can use the standard error (with the asymptotic variance) to construct 95 confidence intervals around the underlying parameter(s). To achieve this, we simply create a vector c(-1.96, 1.96) and then multiply it by the standard error: The true parameter does fall within the 95 confidence interval, as wed expect from the fact weve generated the realisation from the model specifically. How about if we change the alpha1 -0.6 As before we can fit an AR(p) model using ar : Once again we recover the correct order of the model, with a very good estimate hat -0.597 of alpha1-0.6. We also see that the true parameter falls within the 95 confidence interval once again. Lets add some more complexity to our autoregressive processes by simulating a model of order 2. In particular, we will set alpha10.666, but also set alpha2 -0.333. Heres the full code to simulate and plot the realisation, as well as the correlogram for such a series: As before we can see that the correlogram differs significantly from that of white noise, as wed expect. There are statistically significant peaks at k1, k3 and k4. Once again, were going to use the ar command to fit an AR(p) model to our underlying AR(2) realisation. The procedure is similar as for the AR(1) fit: The correct order has been recovered and the parameter estimates hat 0.696 and hat -0.395 are not too far off the true parameter values of alpha10.666 and alpha2-0.333. Notice that we receive a convergence warning message. Notice also that R actually uses the arima0 function to calculate the AR model. As well learn in subsequent articles, AR(p) models are simply ARIMA(p, 0, 0) models, and thus an AR model is a special case of ARIMA with no Moving Average (MA) component. Well also be using the arima command to create confidence intervals around multiple parameters, which is why weve neglected to do it here. Now that weve created some simulated data it is time to apply the AR(p) models to financial asset time series. Financial Data Amazon Inc. Lets begin by obtaining the stock price for Amazon (AMZN) using quantmod as in the last article : The first task is to always plot the price for a brief visual inspection. In this case well using the daily closing prices: Youll notice that quantmod adds some formatting for us, namely the date, and a slightly prettier chart than the usual R charts: We are now going to take the logarithmic returns of AMZN and then the first-order difference of the series in order to convert the original price series from a non-stationary series to a (potentially) stationary one. This allows us to compare apples to apples between equities, indices or any other asset, for use in later multivariate statistics, such as when calculating a covariance matrix. If you would like a detailed explanation as to why log returns are preferable, take a look at this article over at Quantivity . Lets create a new series, amznrt. to hold our differenced log returns: Once again, we can plot the series: At this stage we want to plot the correlogram. Were looking to see if the differenced series looks like white noise. If it does not then there is unexplained serial correlation, which might be explained by an autoregressive model. We notice a statististically significant peak at k2. Hence there is a reasonable possibility of unexplained serial correlation. Be aware though, that this may be due to sampling bias. As such, we can try fitting an AR(p) model to the series and produce confidence intervals for the parameters: Fitting the ar autoregressive model to the first order differenced series of log prices produces an AR(2) model, with hat -0.0278 and hat -0.0687. Ive also output the aysmptotic variance so that we can calculate standard errors for the parameters and produce confidence intervals. We want to see whether zero is part of the 95 confidence interval, as if it is, it reduces our confidence that we have a true underlying AR(2) process for the AMZN series. To calculate the confidence intervals at the 95 level for each parameter, we use the following commands. We take the square root of the first element of the asymptotic variance matrix to produce a standard error, then create confidence intervals by multiplying it by -1.96 and 1.96 respectively, for the 95 level: Note that this becomes more straightforward when using the arima function, but well wait until Part 2 before introducing it properly. Thus we can see that for alpha1 zero is contained within the confidence interval, while for alpha2 zero is not contained in the confidence interval. Hence we should be very careful in thinking that we really have an underlying generative AR(2) model for AMZN. In particular we note that the autoregressive model does not take into account volatility clustering, which leads to clustering of serial correlation in financial time series. When we consider the ARCH and GARCH models in later articles, we will account for this. When we come to use the full arima function in the next article, we will make predictions of the daily log price series in order to allow us to create trading signals. SampP500 US Equity Index Along with individual stocks we can also consider the US Equity index, the SampP500. Lets apply all of the previous commands to this series and produce the plots as before: We can plot the prices: As before, well create the first order difference of the log closing prices: Once again, we can plot the series: It is clear from this chart that the volatility is not stationary in time. This is also reflected in the plot of the correlogram. There are many peaks, including k1 and k2, which are statistically significant beyond a white noise model. In addition, we see evidence of long-memory processes as there are some statistically significant peaks at k16, k18 and k21: Ultimately we will need a more sophisticated model than an autoregressive model of order p. However, at this stage we can still try fitting such a model. Lets see what we get if we do so: Using ar produces an AR(22) model, i. e. a model with 22 non-zero parameters What does this tell us It is indicative that there is likely a lot more complexity in the serial correlation than a simple linear model of past prices can really account for. However, we already knew this because we can see that there is significant serial correlation in the volatility. For instance, consider the highly volatile period around 2008. This motivates the next set of models, namely the Moving Average MA(q) and the Autoregressive Moving Average ARMA(p, q). Well learn about both of these in Part 2 of this article. As we repeatedly mention, these will ultimately lead us to the ARIMA and GARCH family of models, both of which will provide a much better fit to the serial correlation complexity of the Samp500. This will allows us to improve our forecasts significantly and ultimately produce more profitable strategies. Just Getting Started with Quantitative Trading