一起学Python第94天:Pandas数据I/O全攻略,轻松读写CSV/Excel/JSON/数据库

import pandas as pd# 1️⃣ 一次性读取整个CSV（推荐）df_csv = pd.read_csv('data.csv')print("读取的CSV数据:\n", df_csv)# 2️⃣ 写入CSV（务必加 index=False，避免多出空白索引列）df_csv.to_csv('output.csv', index=False)print("✅ 数据已写入 output.csv")

# 逐行读取with open('data.csv', 'r') as f:    for line in f:        print(line.strip())  # strip() 去除末尾换行符# 逐行写入with open('output_row.csv', 'w') as f:    for _, row in df_csv.iterrows():        f.write(','.join(map(str, row.values)) + '\n')

# 1️⃣ 读取指定工作表df_excel = pd.read_excel('data.xlsx', sheet_name='Sheet1')# 2️⃣ 写入Excel并指定工作表名df_excel.to_excel('output.xlsx', index=False, sheet_name='Results')

with pd.ExcelWriter('output_row.xlsx', engine='openpyxl') as writer:    for idx, row in df_excel.iterrows():        row_df = pd.DataFrame([row])        # 第一行写表头，后续行追加数据        row_df.to_excel(writer, index=False, header=(idx == 0), startrow=idx)

import json# 1️⃣ Pandas 直接读取df_json = pd.read_json('data.json')# 2️⃣ 写入为"每行一个JSON对象"格式（大数据/流式友好）df_json.to_json('output.json', orient='records', lines=True)

# 逐行解析 JSON（适合嵌套深或格式不规整的文件）with open('data.json', 'r') as f:    json_data = json.load(f)    for record in json_data:        print("记录:", record)# 逐行写入with open('output_row.json', 'w') as f:    for _, row in df_json.iterrows():        f.write(json.dumps(row.to_dict()) + '\n')

import sqlite3# 建立连接（文件不存在会自动创建）conn = sqlite3.connect('example.db')# 1️⃣ SQL查询直接转DataFramedf_sql = pd.read_sql_query("SELECT * FROM users", conn)# 2️⃣ DataFrame直接入库（核心参数 if_exists）df_sql.to_sql('users_backup', conn, if_exists='replace', index=False)# if_exists: 'fail'(默认报错) / 'replace'(覆盖) / 'append'(追加)conn.close()

conn = sqlite3.connect('example.db')for _, row in df_sql.iterrows():    row.to_frame().T.to_sql('users_log', conn, if_exists='append', index=False)conn.close()

import pandas as pdimport sqlite3import json# 1. CSV 读写df_csv = pd.read_csv('data.csv')df_csv.to_csv('output.csv', index=False)# 2. Excel 读写df_excel = pd.read_excel('data.xlsx', sheet_name='Sheet1')df_excel.to_excel('output.xlsx', index=False, sheet_name='Results')# 3. JSON 读写df_json = pd.read_json('data.json')df_json.to_json('output.json', orient='records', lines=True)# 4. SQLite 读写conn = sqlite3.connect('example.db')df_sql = pd.read_sql_query("SELECT * FROM sample_table", conn)df_sql.to_sql('backup_table', conn, if_exists='replace', index=False)conn.close()print("🎉 所有数据读写任务执行完毕！")