Полная версия
Библиотеки Python Часть 2. Практическое применение
user_activity.columns = ['user_id', 'action_count']
# Поиск самого активного пользователя
most_active_user = user_activity.loc[user_activity['action_count'].idxmax()]
print(most_active_user)
```
Результат:
```
user_id 1
action_count 3
```
Задача 8: Подсчет действий по типу
Описание: Для каждого типа действия из таблицы `activity_log` подсчитайте, сколько раз оно выполнялось.
Решение:
```python
# Подсчет количества каждого типа действия
action_counts = activity_df['action'].value_counts().reset_index()
action_counts.columns = ['action', 'count']
print(action_counts)
```
Результат:
```
action count
0 login 2
1 purchase 2
2 logout 2
```
Задача 9: Анализ временных меток
Описание: Определите, в какие часы дня пользователи наиболее активны.
Решение:
```python
# Извлечение часа из временных меток
activity_df['hour'] = activity_df['timestamp'].dt.hour
# Подсчет действий по часам
hourly_activity = activity_df.groupby('hour')['id'].count().reset_index()
hourly_activity.columns = ['hour', 'action_count']
print(hourly_activity)
```
Результат:
```
hour action_count
0 10 3
1 11 3
```
Задача 10: Создание таблицы доходов от пользователей
Описание: Используя таблицу `sales`, определите, сколько дохода принёс каждый пользователь, и сохраните результаты в таблицу `user_revenues`.
Решение:
```python
# Добавление данных о продажах с указанием user_id
with engine.connect() as conn:
conn.execute(sales.insert(), [
{'product': 'Laptop', 'price': 1000, 'quantity': 1, 'user_id': 1},
{'product': 'Phone', 'price': 500, 'quantity': 2, 'user_id': 1},
{'product': 'Tablet', 'price': 300, 'quantity': 3, 'user_id': 2}
])
# Чтение данных из sales
sales_df = pd.read_sql("SELECT * FROM sales", engine)
# Расчёт дохода для каждого пользователя
sales_df['revenue'] = sales_df['price'] * sales_df['quantity']
user_revenues = sales_df.groupby('user_id')['revenue'].sum().reset_index()
# Сохранение в новую таблицу
user_revenues.to_sql('user_revenues', engine, if_exists='replace', index=False)
# Проверка результатов
saved_user_revenues = pd.read_sql("SELECT * FROM user_revenues", engine)
print(saved_user_revenues)
```
Результат:
```
user_id revenue
0 1 2000
1 2 900
```
Задача 11: Поиск последнего действия пользователей
Описание:Для каждого пользователя из таблицы `activity_log` найдите его последнее действие.
Решение:
```python
# Поиск последнего действия
last_actions = activity_df.sort_values('timestamp').groupby('user_id').last().reset_index()
last_actions = last_actions[['user_id', 'action', 'timestamp']]
print(last_actions)
```
Результат:
```
user_id action timestamp
0 1 logout 2025-01-01 10:10:00
1 2 logout 2025-01-01 11:10:00
```
Задача 12: Фильтрация пользователей с высоким доходом
Описание: Используя таблицу `user_revenues`, выберите всех пользователей, чей доход превышает 1500.
Решение:
```python
# Чтение данных из user_revenues
user_revenues = pd.read_sql("SELECT * FROM user_revenues", engine)
# Фильтрация пользователей с доходом > 1500
high_revenue_users = user_revenues[user_revenues['revenue'] > 1500]
print(high_revenue_users)
```
Результат:
```
user_id revenue
0 1 2000
```
Задача 13: Распределение доходов по продуктам
Описание: Определите, какой процент от общего дохода приносит каждый продукт.
Решение:
```python
# Подсчет общего дохода
total_revenue = sales_df['revenue'].sum()
# Расчет процента дохода по продуктам
sales_df['revenue_percent'] = (sales_df['revenue'] / total_revenue) * 100
product_revenue_percent = sales_df.groupby('product')['revenue_percent'].sum().reset_index()
print(product_revenue_percent)
```
Результат:
```
product revenue_percent
0 Laptop 50.793651
1 Phone 25.396825
2 Tablet 23.809524
```
Эти задачи демонстрируют, как SQLAlchemy и Pandas могут использоваться вместе для создания, управления и анализа данных в базах данных. Они покрывают такие аспекты, как фильтрация данных, выполнение группировок и агрегатов, интеграция данных и сохранение результатов. Эти примеры помогут вам освоить основные техники работы с базами данных в Python.
Глава 2. Интерактивная визуализация и аналитика
2.1 Использование Plotly для интерактивных графиковPlotly – это мощная библиотека для создания интерактивных графиков и визуализации данных. Она поддерживает широкий спектр графиков: линейные, столбчатые, тепловые карты, трехмерные визуализации и многие другие. Основное преимущество Plotly – интерактивность: пользователи могут увеличивать масштаб, перемещаться по графикам, а также взаимодействовать с данными в реальном времени.
Для работы с Plotly необходимо установить библиотеку:
```bash
pip install plotly
```
После установки можно использовать Plotly в сочетании с Pandas, что упрощает построение графиков на основе данных из DataFrame. Далее мы подробно рассмотрим примеры использования Plotly для создания различных типов графиков.
Построение простого линейного графика
Рассмотрим пример, где мы визуализируем изменение температуры в течение недели.
```python
import plotly.graph_objects as go
# Данные
days = ['Monday', 'Tuesday', 'Wednesday', 'Thursday', 'Friday', 'Saturday', 'Sunday']
temperatures = [22, 24, 19, 23, 25, 28, 26]
# Создание графика
fig = go.Figure()
fig.add_trace(go.Scatter(
x=days,
y=temperatures,
mode='lines+markers', # Линии с точками
name='Temperature',
line=dict(color='blue', width=2),
marker=dict(size=8)
))
# Настройка заголовков
fig.update_layout(
title='Изменение температуры за неделю',
xaxis_title='День недели',
yaxis_title='Температура (°C)',
template='plotly_white'
)
fig.show()
```
Объяснение:
1. Мы создаём объект `Figure`, добавляя в него данные с помощью `add_trace`.
2. Используем `Scatter` для отображения данных в виде линии с точками.
3. С помощью `update_layout` задаём заголовок графика и подписываем оси.
4. Метод `fig.show()` открывает интерактивный график в браузере.
Построение столбчатого графика
Теперь создадим столбчатый график, чтобы отобразить продажи по различным категориям товаров.
```python
categories = ['Electronics', 'Clothing', 'Groceries', 'Books', 'Furniture']
sales = [1000, 1500, 700, 1200, 900]
fig = go.Figure()
fig.add_trace(go.Bar(
x=categories,
y=sales,
name='Sales',
marker=dict(color='orange')
))
fig.update_layout(
title='Продажи по категориям товаров',
xaxis_title='Категории',
yaxis_title='Сумма продаж ($)',
template='plotly_dark'
)
fig.show()
```
Особенности:
– Используем `go.Bar` для построения столбчатого графика.
– Цвет столбцов задаётся через параметр `marker`.
Построение комбинированного графика
Иногда нужно совмещать разные типы графиков на одном рисунке. Рассмотрим пример, где на одном графике отображаются продажи в виде столбцов и прибыль в виде линии.
```python
profit = [300, 500, 200, 400, 350]
fig = go.Figure()
fig.add_trace(go.Bar(
x=categories,
y=sales,
name='Sales',
marker=dict(color='blue')
))
fig.add_trace(go.Scatter(
x=categories,
y=profit,
mode='lines+markers',
name='Profit',
line=dict(color='green', width=2)
))
fig.update_layout(
title='Продажи и прибыль по категориям товаров',
xaxis_title='Категории',
yaxis_title='Сумма ($)',
barmode='group',
template='plotly_white'
)
fig.show()
```
Что добавлено:
– Комбинация `Bar` и `Scatter` позволяет визуализировать данные разных типов.
– Параметр `barmode='group'` размещает столбцы по группам, чтобы они не перекрывались.
Построение круговой диаграммы
Для отображения долей в процентах часто используется круговая диаграмма. Например, распределение продаж по категориям.
```python
fig = go.Figure()
fig.add_trace(go.Pie(
labels=categories,
values=sales,
hole=0.3 # Полудонат (дырка в центре)
))
fig.update_layout(
title='Распределение продаж по категориям',
template='plotly_white'
)
fig.show()
```
Особенности:
– Используем `go.Pie` для построения круговой диаграммы.
– Параметр `hole` задаёт размер центральной части, превращая график в "пончиковую" диаграмму.
Построение тепловой карты
Тепловые карты полезны для отображения матриц данных, например, уровня продаж в разных регионах и месяцах.
```python
import numpy as np
regions = ['North', 'South', 'East', 'West']
months = ['January', 'February', 'March', 'April']
sales_data = np.random.randint(100, 1000, size=(4, 4))
fig = go.Figure(data=go.Heatmap(
z=sales_data,
x=months,
y=regions,
colorscale='Viridis' # Цветовая схема
))
fig.update_layout(
title='Уровень продаж по регионам и месяцам',
xaxis_title='Месяцы',
yaxis_title='Регионы'
)
fig.show()
```
Объяснение:
– Используем `go.Heatmap` для отображения данных в виде тепловой карты.
– Параметр `colorscale` задаёт цветовую палитру, визуально усиливая различия между значениями.
Построение трёхмерного графика
Plotly поддерживает трёхмерные визуализации. Например, график, отображающий поверхность функции.
```python
x = np.linspace(-5, 5, 50)
y = np.linspace(-5, 5, 50)
X, Y = np.meshgrid(x, y)
Z = np.sin(np.sqrt(X**2 + Y**2))
fig = go.Figure(data=[go.Surface(z=Z, x=X, y=Y)])
fig.update_layout(
title='3D График поверхности',
scene=dict(
xaxis_title='X',
yaxis_title='Y',
zaxis_title='Z'
)
)
fig.show()
```
Особенности:
– Используем `go.Surface` для построения трёхмерной поверхности.
– Параметры `scene` задают подписи к осям в трёхмерном пространстве.
Интерактивность с помощью виджетов
Plotly позволяет добавлять интерактивные элементы, такие как слайдеры. Например, график, где пользователь может выбирать диапазон времени.
```python
from plotly.subplots import make_subplots
years = ['2020', '2021', '2022', '2023']
values = [500, 700, 800, 600]
fig = make_subplots(rows=1, cols=1)
fig.add_trace(go.Scatter(
x=years,
y=values,
mode='lines+markers',
name='Yearly Data'
))
fig.update_layout(
title='Интерактивный график с выбором диапазона',
xaxis=dict(rangeslider=dict(visible=True)), # Добавляем ползунок
template='plotly_white'
)
fig.show()
```
Интерактивность:
– Ползунок позволяет выбирать диапазон данных на оси X.
– Это полезно для работы с временными рядами.
Plotly – универсальный инструмент для создания интерактивных графиков. Благодаря множеству типов графиков и богатым возможностям настройки, библиотека подходит для самых разнообразных задач: от анализа данных до их визуальной презентации. Используя Plotly, вы можете не только создавать красивые графики, но и предоставлять пользователям возможность активно взаимодействовать с ними.
Задачи для практики
Задача 1: Построение графика изменения температуры
Описание:
Имеется набор данных о температуре за неделю:
– Дни: `['Monday', 'Tuesday', 'Wednesday', 'Thursday', 'Friday', 'Saturday', 'Sunday']`
– Температура: `[15, 17, 20, 22, 19, 18, 16]`
Постройте линейный график, отображающий изменение температуры. Подпишите оси и добавьте интерактивность.
Решение:
```python
import plotly.graph_objects as go
# Данные
days = ['Monday', 'Tuesday', 'Wednesday', 'Thursday', 'Friday', 'Saturday', 'Sunday']
temperatures = [15, 17, 20, 22, 19, 18, 16]
# Построение графика
fig = go.Figure()
fig.add_trace(go.Scatter(
x=days,
y=temperatures,
mode='lines+markers',
name='Temperature',
line=dict(color='blue', width=2),
marker=dict(size=8)
))
# Настройка графика
fig.update_layout(
title='Изменение температуры за неделю',
xaxis_title='Дни недели',
yaxis_title='Температура (°C)',
template='plotly_white'
)
# Показ графика
fig.show()
```
Задача 2: Построение круговой диаграммы
Описание:
Имеется информация о продажах по категориям:
– Категории: `['Electronics', 'Clothing', 'Groceries', 'Books', 'Furniture']`
– Продажи: `[1200, 1500, 800, 600, 900]`
Постройте круговую диаграмму, отображающую доли продаж по категориям.
Решение:
```python
import plotly.graph_objects as go
# Данные
categories = ['Electronics', 'Clothing', 'Groceries', 'Books', 'Furniture']
sales = [1200, 1500, 800, 600, 900]
# Построение круговой диаграммы
fig = go.Figure(data=[go.Pie(
labels=categories,
values=sales,
hole=0.4 # Делает диаграмму "пончиковой"
)])
# Настройка графика
fig.update_layout(
title='Распределение продаж по категориям',
template='plotly_white'
)
# Показ графика
fig.show()
```
Задача 3: Построение столбчатого графика с несколькими категориями
Описание:
Имеется информация о продажах в двух магазинах по категориям товаров:
– Категории: `['Electronics', 'Clothing', 'Groceries', 'Books', 'Furniture']`
– Продажи в магазине A: `[1000, 1400, 800, 500, 700]`
– Продажи в магазине B: `[1200, 1500, 600, 700, 900]`
Постройте группированный столбчатый график для сравнения продаж в двух магазинах.
Решение:
```python
# Данные
categories = ['Electronics', 'Clothing', 'Groceries', 'Books', 'Furniture']
sales_a = [1000, 1400, 800, 500, 700]
sales_b = [1200, 1500, 600, 700, 900]
# Построение графика
fig = go.Figure()
fig.add_trace(go.Bar(
x=categories,
y=sales_a,
name='Store A',
marker=dict(color='blue')
))
fig.add_trace(go.Bar(
x=categories,
y=sales_b,
name='Store B',
marker=dict(color='orange')
))
# Настройка графика
fig.update_layout(
title='Сравнение продаж по категориям в двух магазинах',
xaxis_title='Категории',
yaxis_title='Продажи ($)',
barmode='group',
template='plotly_white'
)
# Показ графика
fig.show()
```
Задача 4: Построение тепловой карты продаж по регионам и месяцам
Описание:
Имеются данные о продажах в четырёх регионах за три месяца:
– Регионы: `['North', 'South', 'East', 'West']`
– Месяцы: `['January', 'February', 'March']`
– Продажи (матрица):
```
[[500, 600, 700],
[400, 500, 600],
[700, 800, 900],
[300, 400, 500]]
```
Постройте тепловую карту, отображающую продажи.
Решение:
```python
import plotly.graph_objects as go
# Данные
regions = ['North', 'South', 'East', 'West']
months = ['January', 'February', 'March']
sales_matrix = [
[500, 600, 700],
[400, 500, 600],
[700, 800, 900],
[300, 400, 500]
]
# Построение тепловой карты
fig = go.Figure(data=go.Heatmap(
z=sales_matrix,
x=months,
y=regions,
colorscale='Viridis' # Цветовая схема
))
# Настройка графика
fig.update_layout(
title='Тепловая карта продаж',
xaxis_title='Месяцы',
yaxis_title='Регионы'
)
# Показ графика
fig.show()
```
Задача 5: Построение 3D-графика поверхности функции
Описание: Построить 3D-график для функции ( z = cos(x^2 + y^2) cdot *sin(x – y) ) на диапазоне (x) и (y) от (-5) до (5) с использованием более высокой сетки и с улучшенной цветовой гаммой.
Решение:
```python
import numpy as np
import plotly.graph_objects as go
# Данные
x = np.linspace(-5, 5, 100) # Увеличение разрешения
y = np.linspace(-5, 5, 100)
X, Y = np.meshgrid(x, y)
Z = np.cos(X**2 + Y**2) * np.sin(X – Y) # Сложная функция
# Построение 3D-графика
fig = go.Figure(data=[go.Surface(z=Z, x=X, y=Y, colorscale='Viridis')]) # Изменение цветовой гаммы
# Настройка графика
fig.update_layout(
title='3D График сложной поверхности',
scene=dict(
xaxis_title='X',
yaxis_title='Y',
zaxis_title='Z'
),
scene_camera=dict(
eye=dict(x=1.5, y=1.5, z=1.5) # Изменение угла обзора
)
)
# Показ графика
fig.show()
```
Задача 6: Анимация изменения температуры по дням недели
Описание:
Имеется информация о температуре за каждый день недели для нескольких городов:
– Дни: `['Monday', 'Tuesday', 'Wednesday', 'Thursday', 'Friday', 'Saturday', 'Sunday']`
– Города: `['New York', 'Los Angeles', 'Chicago']`
– Температуры (матрица):
```
New York: [22, 24, 26, 25, 23, 21, 20]
Los Angeles: [30, 31, 29, 28, 27, 26, 25]
Chicago: [15, 18, 20, 17, 16, 14, 12]
```
Создайте анимацию, показывающую изменение температуры для каждого города.
Решение:
```python
import plotly.graph_objects as go
# Данные
days = ['Monday', 'Tuesday', 'Wednesday', 'Thursday', 'Friday', 'Saturday', 'Sunday']
cities = ['New York', 'Los Angeles', 'Chicago']
temperatures = {
'New York': [22, 24, 26, 25, 23, 21, 20],
'Los Angeles': [30, 31, 29, 28, 27, 26, 25],
'Chicago': [15, 18, 20, 17, 16, 14, 12]
}
# Создание анимации
fig = go.Figure()
for city in cities:
fig.add_trace(go.Scatter(
x=days,
y=temperatures[city],
mode='lines+markers',
name=city
))
# Настройка анимации
frames = [
go.Frame(
data=[
go.Scatter(
x=days[:i],
y=temperatures[city][:i],
mode='lines+markers',
name=city
)
for city in cities
]
)
for i in range(1, len(days) + 1)
]
fig.update(frames=frames)
# Настройка кнопок
fig.update_layout(
updatemenus=[
dict(
type='buttons',
showactive=False,
buttons=[
dict(label='Play', method='animate', args=[None, {'frame': {'duration': 500, 'redraw': True}}]),
dict(label='Pause', method='animate', args=[[None], {'frame': {'duration': 0, 'redraw': False}}])
]
)
]
)
# Оформление графика
fig.update_layout(
title='Изменение температуры по дням недели',
xaxis_title='День недели',
yaxis_title='Температура (°C)',
template='plotly_white'
)
fig.show()
```
Задача 7: Трёхмерная анимация COVID-19
Описание:
Используйте вымышленные данные о росте случаев COVID-19 в трёх странах (`USA`, `India`, `Brazil`) за шесть месяцев:
– Месяцы: `['January', 'February', 'March', 'April', 'May', 'June']`
– Число случаев (матрица):
```
USA: [1000, 2000, 4000, 8000, 15000, 20000]
India: [500, 1500, 3000, 6000, 12000, 18000]
Brazil: [800, 1600, 3200, 6400, 13000, 19000]
```
Создайте трёхмерную анимацию, показывающую рост числа случаев по месяцам.
Решение:
```python
import plotly.graph_objects as go
# Данные
months = ['January', 'February', 'March', 'April', 'May', 'June']
countries = ['USA', 'India', 'Brazil']
cases = {
'USA': [1000, 2000, 4000, 8000, 15000, 20000],
'India': [500, 1500, 3000, 6000, 12000, 18000],
'Brazil': [800, 1600, 3200, 6400, 13000, 19000]
}
# Построение графика
fig = go.Figure()
for month, idx in zip(months, range(len(months))):
fig.add_trace(go.Scatter3d(
x=countries,
y=[month] * len(countries),
z=[cases[country][idx] for country in countries],
mode='markers',
marker=dict(size=10, color=[cases[country][idx] for country in countries], colorscale='Viridis'),
name=month
))
# Оформление графика
fig.update_layout(
title='Трёхмерная анимация роста COVID-19',
scene=dict(
xaxis_title='Страна',
yaxis_title='Месяц',
zaxis_title='Число случаев'
),
template='plotly_dark'
)
fig.show()
```
Задача 8: Тепловая карта с аннотациями
Описание:
Имеется таблица оценки студентов по предметам:
– Студенты: `['Alice', 'Bob', 'Charlie', 'Diana']`
– Предметы: `['Math', 'Physics', 'Chemistry', 'Biology']`
– Оценки (матрица):
```
[[85, 90, 78, 92],
[88, 84, 89, 91],
[76, 85, 83, 88],
[90, 92, 80, 87]]
```
Постройте тепловую карту, добавив аннотации с оценками.
Решение:
```python
import plotly.graph_objects as go
# Данные
students = ['Alice', 'Bob', 'Charlie', 'Diana']
subjects = ['Math', 'Physics', 'Chemistry', 'Biology']
grades = [
[85, 90, 78, 92],
[88, 84, 89, 91],
[76, 85, 83, 88],
[90, 92, 80, 87]
]
# Построение тепловой карты
fig = go.Figure(data=go.Heatmap(
z=grades,
x=subjects,
y=students,
colorscale='Blues',
showscale=True
))
# Добавление аннотаций
for i, row in enumerate(grades):
for j, val in enumerate(row):
fig.add_annotation(
x=subjects[j],
Конец ознакомительного фрагмента.
Текст предоставлен ООО «Литрес».
Прочитайте эту книгу целиком, купив полную легальную версию на Литрес.
Безопасно оплатить книгу можно банковской картой Visa, MasterCard, Maestro, со счета мобильного телефона, с платежного терминала, в салоне МТС или Связной, через PayPal, WebMoney, Яндекс.Деньги, QIWI Кошелек, бонусными картами или другим удобным Вам способом.
