数据科学 = 统计学 + 计算机科学 + 领域专业知识

# 数据科学周期示例代码
import pandas as pd
import matplotlib.pyplot as plt

# 1. 问题定义：分析销售数据以了解季节性趋势

# 2. 数据收集
sales_data = pd.read_csv('sales_data.csv')

# 3. 数据准备
sales_data['date'] = pd.to_datetime(sales_data['date'])
sales_data = sales_data.dropna()

# 4. 数据分析
monthly_sales = sales_data.groupby(sales_data['date'].dt.month)['amount'].sum()

# 5. 数据报告
plt.figure(figsize=(10, 6))
monthly_sales.plot(kind='bar')
plt.title('月度销售趋势')
plt.xlabel('月份')
plt.ylabel('销售额')
plt.show()

# 物联网设备数据处理流程
import pandas as pd
from sklearn.ensemble import IsolationForest

# 1. 数据收集
sensor_data = pd.read_csv('iot_sensor_data.csv')

# 2. 数据预处理
sensor_data['timestamp'] = pd.to_datetime(sensor_data['timestamp'])
sensor_data = sensor_data.set_index('timestamp')

# 3. 异常检测
model = IsolationForest(contamination=0.01)
anomalies = model.fit_predict(sensor_data[['temperature', 'humidity']])

# 4. 结果分析
anomaly_indices = sensor_data.index[anomalies == -1]
print(f"检测到 {len(anomaly_indices)} 个异常数据点")

# 处理结构化数据（CSV文件）
import pandas as pd

# 读取结构化数据
structured_data = pd.read_csv('course_evaluations.csv')
print(structured_data.head())

# 处理非结构化数据（文本文件）
with open('product_reviews.txt', 'r', encoding='utf-8') as file:
    unstructured_data = file.read()
    
# 文本预处理
import re
cleaned_text = re.sub(r'[^\w\s]', '', unstructured_data)  # 移除标点符号
words = cleaned_text.split()  # 分词
print(f"总词数: {len(words)}")

# CSV格式示例
学期,教师,班级规模,评分
2020年秋季,A,100,完全不推荐
2021年春季,A,50,强烈推荐

# JSON格式示例
{
  "课程评估": [
    {
      "学期": "2020年秋季",
      "教师": "A",
      "班级规模": 100,
      "评分": "完全不推荐"
    },
    {
      "学期": "2021年春季",
      "教师": "A",
      "班级规模": 50,
      "评分": "强烈推荐"
    }
  ]
}

# XML格式示例
<课程评估>
  <评估>
    <学期>2020年秋季</学期>
    <教师>A</教师>
    <班级规模>100</班级规模>
    <评分>完全不推荐</评分>
  </评估>
  <评估>
    <学期>2021年春季</学期>
    <教师>A</教师>
    <班级规模>50</班级规模>
    <评分>强烈推荐</评分>
  </评估>
</课程评估>

# 导入必要的库
import pandas as pd

# 使用read_html()函数从网页读取表格
url = "https://example.com/data-tables"
tables = pd.read_html(url)

# 访问所需的表格（例如：索引4）
df = tables[4]

# 将字符串列转换为数字
df['数值列'] = pd.to_numeric(df['数值列'])

# 显示DataFrame
print(df.head())

# 将数据保存为CSV文件
df.to_csv("extracted_data.csv", index=False)
print("数据已成功保存到CSV文件。")

import re

# 定义要搜索的字符串
text = "Python是一种强大的编程语言。Python广泛应用于数据科学、机器学习和Web开发。Python的简洁语法使其成为初学者的理想选择。"

# 使用正则表达式搜索单词"Python"
matches = re.findall(r"Python", text)

# 打印匹配次数
print(f"单词'Python'在文本中出现了 {len(matches)} 次。")

# 输出：单词'Python'在文本中出现了 3 次。

import csv
import pandas as pd

# 创建一个字典来存储数据
presidents = {
    "1": ["George Washington", "Virginia"],
    "2": ["John Adams", "Massachusetts"],
    "3": ["Thomas Jefferson", "Virginia"],
    "4": ["James Madison", "Virginia"],
    "5": ["James Monroe", "Virginia"]
}

# 使用pandas创建DataFrame
df = pd.DataFrame.from_dict(presidents, orient='index', columns=['Name', 'State of Birth'])
df.index.name = 'Number'

# 将DataFrame保存为CSV文件
df.to_csv("presidents.csv")

# 或者使用csv模块
with open("presidents_csv.csv", "w", newline='') as csv_file:
    fieldnames = ["Number", "Name", "State of Birth"]
    writer = csv.DictWriter(csv_file, fieldnames=fieldnames)
    writer.writeheader()
    for key, value in presidents.items():
        writer.writerow({
            "Number": key,
            "Name": value[0],
            "State of Birth": value[1]
        })

print("数据已成功存储在CSV文件中。")

import pandas as pd
import numpy as np
from scipy import stats

# 创建示例数据集
data = {'Age': [25, 30, np.nan, 35, 40, 45, 50, 55, 200], 
        'Income': [50000, 60000, 70000, 80000, np.nan, 100000, 110000, 120000, 130000]}
df = pd.DataFrame(data)

# 检测缺失值
print("缺失值数量:")
print(df.isnull().sum())

# 处理缺失值 - 使用均值填充
df['Age'].fillna(df['Age'].mean(), inplace=True)
df['Income'].fillna(df['Income'].median(), inplace=True)

# 检测异常值 - 使用Z分数
z_scores = np.abs(stats.zscore(df['Age']))
outliers = np.where(z_scores > 3)
print("\n年龄异常值的索引:", outliers[0])

# 处理异常值 - 用中位数替换
df.loc[outliers[0], 'Age'] = df['Age'].median()

print("\n处理后的数据:")
print(df)

import pandas as pd
import numpy as np
from sklearn.preprocessing import MinMaxScaler, StandardScaler, PowerTransformer

# 创建示例数据集
data = {'Sales': [50000, 25000, 30000, 15000, 45000, 35000, 40000, 55000], 
        'Profits': [20000, 12500, 15000, 7500, 22500, 17500, 20000, 27500]}
df = pd.DataFrame(data)

# 1. 最小-最大标准化 (0-1范围)
min_max_scaler = MinMaxScaler()
df_normalized = pd.DataFrame(min_max_scaler.fit_transform(df), columns=df.columns)
print("最小-最大标准化结果:")
print(df_normalized)

# 2. Z分数标准化
z_scaler = StandardScaler()
df_z = pd.DataFrame(z_scaler.fit_transform(df), columns=df.columns)
print("\nZ分数标准化结果:")
print(df_z)

# 3. 对数转换 (处理偏态数据)
df_log = np.log(df)
print("\n对数转换结果:")
print(df_log)

# 4. Box-Cox转换 (使数据更接近正态分布)
pt = PowerTransformer(method='box-cox')
df_boxcox = pd.DataFrame(pt.fit_transform(df), columns=df.columns)
print("\nBox-Cox转换结果:")
print(df_boxcox)

import pandas as pd
import numpy as np

# 创建示例数据集
data = {'Region': ['North', 'North', 'South', 'South', 'East', 'East', 'West', 'West'],
        'Product': ['A', 'B', 'A', 'B', 'A', 'B', 'A', 'B'],
        'Sales': [100, 150, 200, 250, 300, 350, 400, 450],
        'Quarter': ['Q1', 'Q1', 'Q1', 'Q2', 'Q2', 'Q2', 'Q3', 'Q3']}
df = pd.DataFrame(data)

# 1. 按区域聚合 - 计算每个区域的总销售额
region_sales = df.groupby('Region')['Sales'].sum().reset_index()
print("按区域聚合的总销售额:")
print(region_sales)

# 2. 按产品和季度聚合 - 计算每个产品在每个季度的平均销售额
product_quarter = df.groupby(['Product', 'Quarter'])['Sales'].mean().reset_index()
print("\n按产品和季度聚合的平均销售额:")
print(product_quarter)

# 3. 多重聚合 - 同时计算总和、平均值和计数
multi_agg = df.groupby('Region').agg({
    'Sales': ['sum', 'mean', 'count']
}).reset_index()
print("\n多重聚合结果:")
print(multi_agg)

# 4. 自定义聚合函数
def range_func(x):
    return x.max() - x.min()

custom_agg = df.groupby('Product')['Sales'].agg(['sum', 'mean', range_func]).reset_index()
print("\n自定义聚合结果:")
print(custom_agg)

import nltk
import string
from nltk.corpus import stopwords
from nltk.stem import WordNetLemmatizer
from nltk.tokenize import word_tokenize
from nltk.tag import pos_tag
from nltk.chunk import ne_chunk

# 下载必要的NLTK数据
nltk.download('punkt')
nltk.download('stopwords')
nltk.download('wordnet')
nltk.download('averaged_perceptron_tagger')
nltk.download('maxent_ne_chunker')
nltk.download('words')

# 示例文本
text = "Natural Language Processing is a fascinating field of artificial intelligence. It involves teaching computers to understand human language."

# 1. 分词
tokens = word_tokenize(text)
print("分词结果:", tokens)

# 2. 小写化
lower_tokens = [token.lower() for token in tokens]
print("\n小写化结果:", lower_tokens)

# 3. 移除标点符号
no_punct = [token for token in lower_tokens if token not in string.punctuation]
print("\n移除标点符号结果:", no_punct)

# 4. 移除停用词
stop_words = set(stopwords.words('english'))
no_stopwords = [token for token in no_punct if token not in stop_words]
print("\n移除停用词结果:", no_stopwords)

# 5. 词形还原
lemmatizer = WordNetLemmatizer()
lemmatized = [lemmatizer.lemmatize(token) for token in no_stopwords]
print("\n词形还原结果:", lemmatized)

# 6. 词性标注
pos_tags = pos_tag(lemmatized)
print("\n词性标注结果:", pos_tags)

# 7. 命名实体识别
named_entities = ne_chunk(pos_tags)
print("\n命名实体识别结果:")
print(named_entities)