import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import datetime 
import statsmodels.api as sm
import warnings
warnings.filterwarnings("ignore")

steel_fd_data = pd.read_excel('钢铁基本面数据.xls',index_col=0)

steel_fd_data.columns.tolist()

###由于数据是wind直接下来的，所以不太干净，先预处理一下、去掉一些注释行
steel_fd_data = steel_fd_data[1:-2]
##数据钢材表观消费量为主，截断此数据开始之前的日期，此数据从2004年1月开始
steel_fd_data = steel_fd_data[steel_fd_data.index>=datetime.datetime(2004,1,1)]

# 例如这个房屋新开工面积就是一个当年累计值
steel_fd_data['房屋新开工面积:累计值'].plot()

# 这些字段的数据需要调整为当月值
need_adjust_columns = ['房屋新开工面积:累计值','房屋竣工面积:累计值','商品房销售面积:累计值','固定资产投资完成额:累计值',
                       '固定资产投资完成额:基础设施建设投资:累计值','房地产开发投资完成额:累计值']

steel_fd_data['month'] = steel_fd_data.index.map(lambda x:x.month)
# 这些列都是一月份缺失数据的
# 填充规则，将二月份的数据平分给一月份
for column in need_adjust_columns:
    if column != '固定资产投资完成额:基础设施建设投资:累计值': 
        steel_fd_data[column.split(':')[0]] = steel_fd_data[column] - steel_fd_data[column].shift(1)
        steel_fd_data.ix[steel_fd_data['month']<=2,column.split(':')[0]] = steel_fd_data[steel_fd_data['month']<=2][column].fillna(method='backfill')/2
    else:# 这个名称分为了三段
        steel_fd_data[column.split(':')[1]] = steel_fd_data[column] - steel_fd_data[column].shift(1)
        steel_fd_data.ix[steel_fd_data['month']<=2,column.split(':')[1]] = steel_fd_data[steel_fd_data['month']<=2][column].fillna(method='backfill')/2

# 将累计值转化为当月值结果对比
steel_fd_data[['房屋新开工面积:累计值','房屋新开工面积']].head(20)

# 发现每年的年末都有有一波高峰，周期性很明显
steel_fd_data['房屋新开工面积'].plot()

steel_fd_data.columns.tolist()

#取出接下来需要用的主要数据
data_columns_list = steel_fd_data.columns.tolist()
clean_data = steel_fd_data[data_columns_list[:2]+data_columns_list[-6:]+['产量:汽车:当月值']]
#去除第一行
clean_data = clean_data[1:]

# 查看有无缺失值
np.sum(clean_data.isnull())

# 对于缺失数据，使用线性插值法进行填充
# 因为插值需要保证数据是数值类型的，所以第一步是检查数据格式
clean_data.dtypes

# 转换成数值类型，然后进行线性插值
clean_data = clean_data.apply(pd.to_numeric, errors='ignore').interpolate()

# 再次检查是否填充完毕
np.sum(clean_data.isnull())

clean_data.columns.tolist()

# 将其中几个字段名称进行修改
clean_data.rename(columns={'表观消费量:钢材:当月值':'钢铁消费量', '产量:汽车:当月值':'汽车产量'}, inplace=True)
# 计算TTM环比
TTM_columns = ['钢铁消费量','房屋新开工面积','房屋竣工面积','商品房销售面积','固定资产投资完成额',
               '基础设施建设投资','房地产开发投资完成额','汽车产量']
for column in TTM_columns:
    clean_data[column+'TTM'] = pd.rolling_sum(clean_data[column],12)
    clean_data[column+'TTM_环比'] = clean_data[column+'TTM']/clean_data[column+'TTM'].shift(1)-1

clean_data['钢铁消费量TTM_环比'].plot()

clean_data.dropna(inplace=True)

clean_data['钢铁消费量TTM_环比'].plot()

use_columns = [i+'TTM_环比' for i in TTM_columns]+['M2:同比']
use_data = clean_data[use_columns]
use_data.rename(columns={'M2:同比':'M2'}, inplace=True)

use_data.head()

def plot_line_chart(x_axis,y1_axis,y2_axis,label1,label2):
    Fig = plt.figure(figsize=(10,8))
    Ax = Fig.add_subplot(111)
    lines = Ax.plot(x_axis,y1_axis,'r-',x_axis,y2_axis,'b-')
    lines[0].set_label(label1)
    lines[1].set_label(label2)
    Ax.legend(loc = 0)

def plot_line_chart_double_yaxis(x_axis,y1_axis,y2_axis,label1,label2):
    
    Fig = plt.figure(figsize=(10,8))
    Ax = Fig.add_subplot(111)
    Ax.plot(x_axis,y1_axis,'r-')
    Ax.set_ylabel(label1)
    
    Ax_ = Ax.twinx()
    Ax_.plot(x_axis,y2_axis,'b-')
    Ax_.set_ylabel(label2)
    
def calculate_lag(data,column1,column2):
    
    regre_results=[]
    for i in range(-5,6):
        reg_data = pd.concat([data[column1],data[column2].shift(i)],axis =1)
        reg_data.dropna(inplace=True)
        x=reg_data[column1]
        y=reg_data[column2]
        x=sm.add_constant(x)   
        est=sm.OLS(y,x)
        results=est.fit()
        r2 = results.rsquared 
        coef = results.params[1]
        p = results.pvalues[1]
        corr = reg_data[column1].corr(reg_data[column2])
        
        regre_results.append([i,corr,coef,p,r2])
        
    regre_df = pd.DataFrame(regre_results,columns=['领先期','相关系数','回归系数','P值','R方'])
    
    return regre_df

use_data.columns.tolist()

plot_line_chart(use_data.index,use_data['房屋新开工面积TTM_环比'],use_data['钢铁消费量TTM_环比'],'房屋新开工面积TTM_环比','钢铁消费量TTM_环比')
calculate_lag(use_data,'房屋新开工面积TTM_环比','钢铁消费量TTM_环比') 

plot_line_chart_double_yaxis(use_data.index,use_data['房屋竣工面积TTM_环比'],use_data['钢铁消费量TTM_环比'],'房屋竣工面积TTM_环比','钢铁消费量TTM_环比')
calculate_lag(use_data,'房屋竣工面积TTM_环比','钢铁消费量TTM_环比') 

plot_line_chart_double_yaxis(use_data.index,use_data['商品房销售面积TTM_环比'],use_data['钢铁消费量TTM_环比'],'商品房销售面积TTM_环比','钢铁消费量TTM_环比')
calculate_lag(use_data,'商品房销售面积TTM_环比','钢铁消费量TTM_环比') 

plot_line_chart_double_yaxis(use_data.index,use_data['固定资产投资完成额TTM_环比'],use_data['钢铁消费量TTM_环比'],'固定资产投资完成额TTM_环比','钢铁消费量TTM_环比')
calculate_lag(use_data,'固定资产投资完成额TTM_环比','钢铁消费量TTM_环比')

plot_line_chart_double_yaxis(use_data.index,use_data['基础设施建设投资TTM_环比'],use_data['钢铁消费量TTM_环比'],'基础设施建设投资TTM_环比','钢铁消费量TTM_环比')
calculate_lag(use_data,'基础设施建设投资TTM_环比','钢铁消费量TTM_环比') 

plot_line_chart_double_yaxis(use_data.index,use_data['房地产开发投资完成额TTM_环比'],use_data['钢铁消费量TTM_环比'],'房地产开发投资完成额TTM_环比','钢铁消费量TTM_环比')
calculate_lag(use_data,'房地产开发投资完成额TTM_环比','钢铁消费量TTM_环比') 

plot_line_chart_double_yaxis(use_data.index,use_data['汽车产量TTM_环比'],use_data['钢铁消费量TTM_环比'],'汽车产量TTM_环比','钢铁消费量TTM_环比')
calculate_lag(use_data,'汽车产量TTM_环比','钢铁消费量TTM_环比') 

plot_line_chart_double_yaxis(use_data.index,use_data['M2'],use_data['钢铁消费量TTM_环比'],'M2','钢铁消费量TTM_环比')
calculate_lag(use_data,'M2','钢铁消费量TTM_环比') 

use_data.columns.tolist()

###以前一年数据作为样本进行滚动回归，得到回归系数，以此系数预测下一个月钢材表观消费量TTM环比增速
###基础设施建设投资、M2的领先期分别选为4个月、1个月
testdata = use_data[['钢铁消费量TTM_环比','基础设施建设投资TTM_环比','M2']]

def predict_TTM_growth(testdata,y_var,x_var,x_lag,regre_period = 12):
    
    x_var_lag = []
    for x,lag in zip(x_var,x_lag):
        testdata[x+'_lag'+str(lag)] = testdata[x].shift(lag)
        x_var_lag.append(x+'_lag'+str(lag))
    use_testdata = testdata[[y_var] + x_var_lag]
    use_testdata.dropna(inplace=True) 
    use_testdata[y_var+'_预测'] = np.NaN
    
    corr_chart = use_testdata[x_var_lag].corr()
    print (corr_chart)
    for i in range(regre_period,len(use_testdata)):
    
        train_data = use_testdata[i-regre_period:i]
        y = train_data[y_var]
        x = train_data[x_var_lag]
        x = sm.add_constant(x)
        est = sm.OLS(y,x)
        results = est.fit()
    
        predict_data = use_testdata[i:i+1]
        predict_x = predict_data[x_var_lag]
        predict_x = sm.add_constant(predict_x, has_constant='add')
        use_testdata.iloc[i, -1] = results.predict(predict_x).values[0]
    
    return use_testdata

predict_data = predict_TTM_growth(testdata,'钢铁消费量TTM_环比',['基础设施建设投资TTM_环比','M2'],[4,1])

predict_data.head()

predict_data.tail()

predict_data.dropna(inplace=True)

plot_line_chart(predict_data.index,predict_data['钢铁消费量TTM_环比'],predict_data['钢铁消费量TTM_环比_预测'],'钢材消费量TTM环比','钢材消费量TTM环比预测')