编辑：Peter 作者：Peter
Pandas 是一个强大的 Python 数据分析库，它提供了非常灵活和高效的方式来处理时间序列数据。
时间序列数据是指按照时间顺序排列的数据点集合，通常用于分析随时间变化的趋势、周期性或其他统计特性。
Pandas提供了很多的函数来处理时间序列相关的数据，比如：
- 使用 Timestamp 和 DatetimeIndex：Timestamp 表示单个时间点，而 DatetimeIndex 是由多个 Timestamp 组成的索引
- 使用 pd.date_range()：快速生成时间序列的日期范围
- 使用 .resample() 方法可以对时间序列数据进行重新采样，例如从日数据转换为月数据
- 使用 DateOffset 或 Timedelta 对时间序列进行时间偏移
- 使用 .rolling() 或 .expanding() 方法进行滑动窗口或扩展窗口的计算，如计算移动平均等。
本文介绍基于pandas处理时间序列数据的基础知识：
导入库
import numpy as npimport pandas as pdimport osimport datetime import timenp.random.seed(42) import plotly_express as pxfrom plotly.subplots import make_subplotsimport plotly.graph_objects as goimport matplotlib.pyplot as plt%matplotlib inlineimport seaborn as snssns.set_theme(style="darkgrid")# 设置支持中文字体plt.rcParams['font.sans-serif'] = ['SimHei'] # 设置图像标题字体plt.rcParams['axes.unicode_minus'] = Falseimport warningswarnings.filterwarnings('ignore')
时间戳Timestamp
在pandas中，时间戳（Timestamp，通常指的是自1970年1月1日（UTC）以来的秒数）是用于表示特定时间点的数据类型。它是pandas库中用于时间序列分析的一个重要组成部分，基于Python的datetime模块但提供了更丰富的功能。时间戳不仅包含日期（年、月、日），还包含时间（时、分、秒，以及可选的毫秒、微秒和纳秒）。
首先，如何获取当前时间的时间戳（秒）？
import timetime.time()
1725526309.6035366
创建时间戳对象
1、直接使用字符串创建时间戳
ts = pd.Timestamp("2024-09-03 08:30:00")ts # 时间戳对象
Timestamp('2024-09-03 08:30:00')
2、使用datetime对象创建：将Python的datetime对象传递给Timestamp构造函数
from datetime import datetimedt_obj = datetime(2024, 9,3,8,30)dt_obj
datetime.datetime(2024, 9, 3, 8, 30)
ts1 = pd.Timestamp(dt_obj)ts1
Timestamp('2024-09-03 08:30:00')
可以看到生成的效果和上面是一样的。
也可以通过timestamp属性直接获取其时间戳（秒）：
dt_obj.timestamp() # 具体的秒数
1725323400.0
3、使用pandas的to_datetime函数，它可以灵活地处理列表、数组、Series等数据结构中的日期字符串数据，并将它们转成时间戳对象。
ts2 = pd.to_datetime(["2024-09-03 08:30:00","2024-09-03 10:30:00","2024-09-03 12:30:00"])ts2DatetimeIndex(['2024-09-03 08:30:00', '2024-09-03 10:30:00','2024-09-03 12:30:00'],dtype='datetime64[ns]', freq=None)
ts2中的每个元素都是时间戳对象：
ts2[0]
Timestamp('2024-09-03 08:30:00')
时间戳的属性
以ts1对象为例
ts1
Timestamp('2024-09-03 08:30:00')
单独获取年、月、日、时分秒等
ts1.year # 年
2024
ts1.month # 月
9
ts1.day # 日
3
ts1.hour,ts1.minute,ts1.second # 时分秒
(8, 30, 0)
ts1.daysinmonth # 一月中的哪天
30
时间戳的方法
返回datetime.dateimte对象：
ts1.date() # 获取完整的年月日
datetime.date(2024, 9, 3)
ts1.day_of_week # 星期几（数字）
1
ts1.day_name() # 星期几（英文）
'Tuesday'
ts1.day_of_year # 一年当中的第几天
247
ts1.time() # 获取月日
datetime.time(8, 30)
ts1.days_in_month # 该月中的第几天
30
时间范围data_range
pandas.date_range( start=None, end=None, periods=None, freq=None, tz=None, normalize=False, name=None, inclusive='both', # start和end是否全部包含：both-left-right unit=None)
官网地址：
https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.date_range.html
生成的是DatatimeIndex形式的数据
指定开始和截止时间
dr1 = pd.date_range(start="2024-01-01",end="2024-08-01")dr1
DatetimeIndex(['2024-01-01', '2024-01-02', '2024-01-03', '2024-01-04','2024-01-05', '2024-01-06', '2024-01-07', '2024-01-08','2024-01-09', '2024-01-10', ...'2024-07-23', '2024-07-24', '2024-07-25', '2024-07-26','2024-07-27', '2024-07-28', '2024-07-29', '2024-07-30','2024-07-31', '2024-08-01'], dtype='datetime64[ns]', length=214, freq='D')
指定周期数periods
dr2 = pd.date_range(start="2024-01-01",periods=20)dr2
DatetimeIndex(['2024-01-01', '2024-01-02', '2024-01-03', '2024-01-04','2024-01-05', '2024-01-06', '2024-01-07', '2024-01-08','2024-01-09', '2024-01-10', '2024-01-11', '2024-01-12','2024-01-13', '2024-01-14', '2024-01-15', '2024-01-16','2024-01-17', '2024-01-18', '2024-01-19', '2024-01-20'], dtype='datetime64[ns]', freq='D')
指定频率freq
默认是以天为频率：
dr3 = pd.date_range(start="2024-01-01",periods=6, freq="D") # 年dr3
DatetimeIndex(['2024-01-01', '2024-01-02', '2024-01-03', '2024-01-04', '2024-01-05', '2024-01-06'],dtype='datetime64[ns]', freq='D')
以月为频率，生成6个周期数的数据
dr3 = pd.date_range(start="2024-01-01",periods=6, freq="M") # 月dr3
DatetimeIndex(['2024-01-31', '2024-02-29', '2024-03-31', '2024-04-30','2024-05-31', '2024-06-30'],dtype='datetime64[ns]', freq='ME')
以年为频率：
dr3 = pd.date_range(start="2024-01-01",periods=6, freq="Y") # 年dr3
DatetimeIndex(['2024-12-31', '2025-12-31', '2026-12-31', '2027-12-31','2028-12-31', '2029-12-31'],dtype='datetime64[ns]', freq='YE-DEC')
dr3 = pd.date_range(start="2024-01-01",periods=6, freq="2Y") # 2年dr3
DatetimeIndex(['2024-12-31', '2026-12-31', '2028-12-31', '2030-12-31','2032-12-31', '2034-12-31'],dtype='datetime64[ns]', freq='2YE-DEC')
以星期为频率：
dr3 = pd.date_range(start="2024-01-01",periods=6, freq="W") # 星期 dr3
DatetimeIndex(['2024-01-07', '2024-01-14', '2024-01-21', '2024-01-28','2024-02-04', '2024-02-11'], dtype='datetime64[ns]', freq='W-SUN')
dr3 = pd.date_range(start="2024-01-01",periods=6, freq="2W") # 2星期 dr3
DatetimeIndex(['2024-01-07', '2024-01-21', '2024-02-04', '2024-02-18','2024-03-03', '2024-03-17'], dtype='datetime64[ns]', freq='2W-SUN')
freq参数不同取值的别名：
- BM：BusinessMonthEnd；每月最后一个工作日
- BMS：BusinessMonthBegin；每月第一个工作日
- W-MON、W-TUE：Week；从指定的星期几（MON、TUE、WED等）开始算起
- WOM-1MON、WOM-2MON： WeekOfMonth；产生每月第一、第二、第三或第四周的星期几；比如，WOM-3FRI表示每月的第3个星期五
- Q-JAN、Q-FEB：QuarterEnd；对于以指定月份（JAN、FEB、MAR等）结束的年度，每季度最后一月的最后一个日历日
- BQ-JAN、BQ-FEB：BuinessQuarterEnd；对于以指定月份结束的年度，每季度最后一个月的最后一个工作日
时间标准化
有时候生成的数据是包含具体时间信息的开始或结束日期新鲜，可以通过normalize=True参数将其转化成零点的整数据：
# 默认非标准化数据dr4 = pd.date_range(start="2024-01-01 01:25:38",periods=6, normalize=False) dr4
DatetimeIndex(['2024-01-01 01:25:38', '2024-01-02 01:25:38','2024-01-03 01:25:38', '2024-01-04 01:25:38','2024-01-05 01:25:38', '2024-01-06 01:25:38'], dtype='datetime64[ns]', freq='D')
# 标准化数据dr5 = pd.date_range(start="2024-01-01 01:25:38",periods=6, normalize=True) dr5
DatetimeIndex(['2024-01-01', '2024-01-02', '2024-01-03', '2024-01-04','2024-01-05', '2024-01-06'],dtype='datetime64[ns]', freq='D')
还可以指定时区tz：
dr6 = pd.date_range(start="2024-01-01",periods=6,freq="M",tz="Asia/ShangHai") # 月dr6
DatetimeIndex(['2024-01-31 00:00:00+08:00', '2024-02-29 00:00:00+08:00','2024-03-31 00:00:00+08:00', '2024-04-30 00:00:00+08:00','2024-05-31 00:00:00+08:00', '2024-06-30 00:00:00+08:00'], dtype='datetime64[ns, Asia/Shanghai]', freq='ME')
dr6 = pd.date_range(start="2024-01-01",periods=6,freq="2M",tz="Asia/ShangHai") # 2月dr6
DatetimeIndex(['2024-01-31 00:00:00+08:00', '2024-03-31 00:00:00+08:00','2024-05-31 00:00:00+08:00', '2024-07-31 00:00:00+08:00','2024-09-30 00:00:00+08:00', '2024-11-30 00:00:00+08:00'], dtype='datetime64[ns, Asia/Shanghai]', freq='2ME')
时间范围period_range
pandas.period_range( start=None, # 开始和结束时间 end=None, periods=None, # 周期数、频率 freq=None, name=None)
注意：start、end和periods选择其中两个参数
官方地址：https://pandas.pydata.org/docs/reference/api/pandas.period_range.html
最终生成的是PeriodIndex类型的数据。
指定开始和截止时间
pr1 = pd.period_range(start="2024-01-01",end="2024-09-01") pr1 # PeriodIndex对象
PeriodIndex(['2024-01-01', '2024-01-02', '2024-01-03', '2024-01-04','2024-01-05', '2024-01-06', '2024-01-07', '2024-01-08','2024-01-09', '2024-01-10', ...'2024-08-23', '2024-08-24', '2024-08-25', '2024-08-26','2024-08-27', '2024-08-28', '2024-08-29', '2024-08-30','2024-08-31', '2024-09-01'], dtype='period[D]', length=245)
指定周期数periods
pr2 = pd.period_range(start="2024/01/01",periods=30) # 开始时间+周期数 pr2 # PeriodIndex对象
PeriodIndex(['2024-01-01', '2024-01-02', '2024-01-03', '2024-01-04','2024-01-05', '2024-01-06', '2024-01-07', '2024-01-08','2024-01-09', '2024-01-10', '2024-01-11', '2024-01-12','2024-01-13', '2024-01-14', '2024-01-15', '2024-01-16','2024-01-17', '2024-01-18', '2024-01-19', '2024-01-20','2024-01-21', '2024-01-22', '2024-01-23', '2024-01-24','2024-01-25', '2024-01-26', '2024-01-27', '2024-01-28','2024-01-29', '2024-01-30'], dtype='period[D]')
pr3 = pd.period_range(end="2024-01-01",periods=30) # 截止时间+周期数pr3 # PeriodIndex对象
PeriodIndex(['2023-12-03', '2023-12-04', '2023-12-05', '2023-12-06','2023-12-07', '2023-12-08', '2023-12-09', '2023-12-10','2023-12-11', '2023-12-12', '2023-12-13', '2023-12-14','2023-12-15', '2023-12-16', '2023-12-17', '2023-12-18','2023-12-19', '2023-12-20', '2023-12-21', '2023-12-22','2023-12-23', '2023-12-24', '2023-12-25', '2023-12-26','2023-12-27', '2023-12-28', '2023-12-29', '2023-12-30','2023-12-31', '2024-01-01'], dtype='period[D]')
指定频率freq
# 按月生成数据pr4 = pd.period_range(start="2020-01-01",end="2024-01-01",freq="M") pr4 # PeriodIndex对象
PeriodIndex(['2020-01', '2020-02', '2020-03', '2020-04', '2020-05', '2020-06','2020-07', '2020-08', '2020-09', '2020-10', '2020-11', '2020-12','2021-01', '2021-02', '2021-03', '2021-04', '2021-05', '2021-06','2021-07', '2021-08', '2021-09', '2021-10', '2021-11', '2021-12','2022-01', '2022-02', '2022-03', '2022-04', '2022-05', '2022-06','2022-07', '2022-08', '2022-09', '2022-10', '2022-11', '2022-12','2023-01', '2023-02', '2023-03', '2023-04', '2023-05', '2023-06','2023-07', '2023-08', '2023-09', '2023-10', '2023-11', '2023-12','2024-01'], dtype='period[M]')
# W-SAT表示周期的频率为每周六（SAT），即每个周期间隔一周，且周期开始于周六pr5 = pd.period_range(start="2020-01-01",freq="W-SAT",periods=10) pr5
PeriodIndex(['2019-12-29/2020-01-04', '2020-01-05/2020-01-11','2020-01-12/2020-01-18', '2020-01-19/2020-01-25','2020-01-26/2020-02-01', '2020-02-02/2020-02-08','2020-02-09/2020-02-15', '2020-02-16/2020-02-22','2020-02-23/2020-02-29', '2020-03-01/2020-03-07'], dtype='period[W-SAT]')
时间序列
基于时间序列索引生成时间序列的Series或者DataFrame数据：
简单的线性时间序列数据
s1 = pd.Series(data=np.arange(1000),index=pd.date_range(start="2022-08-01", periods=1000))s1
2022-08-0102022-08-0212022-08-0322022-08-0432022-08-054 ... 2025-04-229952025-04-239962025-04-249972025-04-259982025-04-26999 Freq: D, Length: 1000, dtype: int32
查看索引信息：
s1.index
DatetimeIndex(['2022-08-01', '2022-08-02', '2022-08-03', '2022-08-04','2022-08-05', '2022-08-06', '2022-08-07', '2022-08-08','2022-08-09', '2022-08-10', ...'2025-04-17', '2025-04-18', '2025-04-19', '2025-04-20','2025-04-21', '2025-04-22', '2025-04-23', '2025-04-24','2025-04-25', '2025-04-26'], dtype='datetime64[ns]', length=1000, freq='D')
也可以用于生成DataFrame的数据：
df1 = pd.DataFrame({"col1": np.arange(5000),"col2": np.arange(5000,10000)}, index=pd.date_range(start="2020-01-01",periods=5000) ) df1.head()
df1.index[:5]
DatetimeIndex(['2020-01-01', '2020-01-02', '2020-01-03', '2020-01-04','2020-01-05'],dtype='datetime64[ns]', freq='D')
# 基于plotly的可视化# fig = px.scatter(df1,y=["col1","col2"])# fig.show()
df1.plot()plt.show()
具有随机噪声的时间序列数据
# 索引index = pd.date_range("2023-01-01",periods=100)# 基础线性数据base = np.linspace(0,100,100)# 添加随机噪声np.random.seed()noise = np.random.normal(0,10,100) # 均值为0-标准差为10的正态分布噪声数据# 时间序列数据 df2 = pd.DataFrame({"col": base + noise}, index=index)df2
# fig = px.scatter(df2,y="col")# fig.show()
df2.plot()plt.show()
生成周期性时间序列数据
365*4
1460
# 设置时间范围 index = pd.date_range('2023-01-01', periods=1460) # 生成基础数据 base = np.sin(np.linspace(0, 2 * np.pi, 1460)) # 生成一年的正弦波 # 添加随机噪声 np.random.seed(0) noise = np.random.normal(0, 0.1, 1460) # 生成时间序列数据 df3 = pd.DataFrame({"col": base + noise}, index=index)df3
# fig = px.scatter(df3,y="col")# fig.show()
基于pandas内置的可视化功能：
df3.plot()plt.show()
选择时间序列数据
从时间序列数据中选择指定条件下的数据
s1
2022-08-0102022-08-0212022-08-0322022-08-0432022-08-054 ... 2025-04-229952025-04-239962025-04-249972025-04-259982025-04-26999 Freq: D, Length: 1000, dtype: int32
s1[2] # 索引为2的数据
2
s1["2022-08-05"] # 选择2022年8月5号的数据
4
s1["2022"] # 选择2022年全部数据
2022-08-0102022-08-0212022-08-0322022-08-0432022-08-054 ... 2022-12-271482022-12-281492022-12-291502022-12-301512022-12-31152 Freq: D, Length: 153, dtype: int32
s1["2022-08"] # 选择2022年8月份的全部数据# s1.loc["2022-08"] # 等效功能
2022-08-0102022-08-0212022-08-0322022-08-0432022-08-0542022-08-0652022-08-0762022-08-0872022-08-0982022-08-1092022-08-11102022-08-12112022-08-13122022-08-14132022-08-15142022-08-16152022-08-17162022-08-18172022-08-19182022-08-20192022-08-21202022-08-22212022-08-23222022-08-24232022-08-25242022-08-26252022-08-27262022-08-28272022-08-29282022-08-30292022-08-3130 Freq: D, dtype: int32
s1[datetime(2024,1,1):] # 选2024-1-1之后的全部数据
2024-01-015182024-01-025192024-01-035202024-01-045212024-01-05522 ... 2025-04-229952025-04-239962025-04-249972025-04-259982025-04-26999 Freq: D, Length: 482, dtype: int32
s1["2022-08-01":"2022-08-08"] # 选择指定时间段内的数据
2022-08-0102022-08-0212022-08-0322022-08-0432022-08-0542022-08-0652022-08-0762022-08-087 Freq: D, dtype: int32
s1.truncate(after="2023-04") # 选择截止到2023-04-01的数据
2022-08-0102022-08-0212022-08-0322022-08-0432022-08-054 ... 2023-03-282392023-03-292402023-03-302412023-03-312422023-04-01243 Freq: D, Length: 244, dtype: int32
