每日归档： 2017年7月22日

h5是很好的保存文件的格式，该文件格式有一个优势是支持快速读取，但是在写入列上有些麻烦。比较好的写入新列的方式，是将新生成的数据写入到一个新的表中，然后删除原来的表。

以下代码就是实现上述功能（此后文章未加说明，均为在Windows+Python 3 上实现）

1. # -*- coding: utf-8 -*-
2. # read data from h5 file and add one colume, then write new data to a new file
4. import tables as tb
5. import pandas as pd
6. import numpy as np
7. import time
8. import sys
10. time0=time.time()
11. pth=‘d:/download/’
12. data_file=pth+‘data0.h5’
14. #read data from the file
15. filem=tb.open_file(data_file,mode=‘a’,driver=“H5FD_CORE”)
17. df0=filem.get_node(where=‘/’,name=‘FinancialData’)
18. df = pd.DataFrame.from_records(df0[:])
19. df[‘UniqueorNot’]=np.where(df.duplicated(subset=[‘Date’,‘Code’]),‘Duplicated’,‘Unique’)
21. # convert object to string, because table can not accept object
22. def foo(atype):
23.     if atype==np.object_:
24.         return ‘S10’
25.     return atype
27. def df_dtype(df):
28.     cols = df.columns
29.     if  sys.version_info[0] == 2:  # python 2 needs .encode() but 3 does not
30.         types = [(cols[i].encode(), foo(df[k].dtype.type)) for (i, k) in enumerate(cols)]
31.     else:
32.         types = [(cols[i], foo(df[k].dtype.type)) for (i, k) in enumerate(cols)]
34.     dtype = np.dtype(types)
35.     return dtype
36. dty = df_dtype(df)
38. # write to a new PyTables table
39. data_file=pth+‘data1.h5’
40. data_h5 = tb.open_file(data_file, ‘a’)
42. # make a definiton of creating Pytables
43. def c_table(f,tname,tdty,data):
44.     try:
45.         f.create_table(where=‘/’, name=tname, description=tdty)
46. #    if the table has already been created, then do nothing
47.     except tb.NodeError:
48.         print(‘\n‘, tname, ‘is existing’)
49.         pass
50. #    get data from table
51.     c=f.get_node(where=‘/’,name=tname)
52. #   data can be list, and internal type is tuple
53.     ts = [tuple(s) for s in data]
54.     c.append(rows=ts)
55.     c.flush()
56. # if you do not want to save the file to csv, you can drop the following two rows.
57. #    df = pd.DataFrame.from_records(c[:])
58. #    df.to_csv(pth+’data1.csv’)
60. # write new data to file
61. namelist=[‘FinancialData’]
62. for c in namelist:
63.     c_table(data_h5,c,dty,df.as_matrix())
65. #flush and close the file
66. data_h5.flush()
67. data_h5.close()
69. # check the time elapsed
70. time2=time.time()
71. print(‘\n%8.4fs’ %(time2-time0))