Python库巡礼--PySpark

from pyspark.sql import SparkSessionfrom pyspark.sql.functions import col, sum as _sum# 1. 初始化 SparkSession (入口点)spark = SparkSession.builder \    .appName("SimplePySparkDemo") \    .master("local[*]") \    .getOrCreate()# 2. 创建简单的 DataFrame (模拟读取数据)data = [    ("Alice", "Sales", 3000),    ("Bob", "Sales", 4000),    ("Charlie", "IT", 5000),    ("David", "IT", 4500),    ("Eve", "HR", 3500)]columns = ["Name", "Department", "Salary"]df = spark.createDataFrame(data, columns)print("--- 原始数据 ---")df.show()# 3. 数据转换：过滤 (Filter) 和 选择 (Select)# 只保留工资大于 4000 的员工high_salary_df = df.filter(col("Salary") > 4000).select("Name", "Salary")print("--- 工资大于 4000 的员工 ---")high_salary_df.show()# 4. 数据聚合：按部门分组求和 (GroupBy)dept_salary_df = df.groupBy("Department").agg(_sum("Salary").alias("Total_Salary"))print("--- 各部门工资总和 ---")dept_salary_df.show()# 5. 停止 Spark 会话spark.stop()

from pyspark.sql import SparkSessionspark = SparkSession.builder.appName("SQLDemo").master("local[*]").getOrCreate()# 创建数据data = [("2023-01-01", 100), ("2023-01-02", 150), ("2023-01-03", 200)]df = spark.createDataFrame(data, ["Date", "Volume"])# 注册为临时视图df.createOrReplaceTempView("trades")# 使用 SQL 查询result = spark.sql("SELECT * FROM trades WHERE Volume > 120")print("--- SQL 查询结果 ---")result.show()spark.stop()