十大常用python自动化脚本_python网页操作自动化脚本

写在前面

如果你也厌倦了每天重复同样乏味的工作？Python，凭借它的简单和通用性，能够为你的问题提供最佳方案。

在本文中，我们将探索 10 个 Python 脚本，这些脚本可以帮助你自动化完成任务，提高工作效率。无论你是开发者、数据分析师还是仅仅想简化工作流程的普通用户，这些脚本都能给你提供帮助。

目录

1. 自动化文件管理
2. 使用 Python 进行网页抓取
3. 文本处理和操作
4. 自动发送电子邮件
5. 自动化 Excel 电子表格
6. 与数据库交互
7. 自动化系统任务
8. 网络自动化
9. 数据清理和转换
10. 自动化 PDF 操作

简介

Python 因其简单性和可读性而备受欢迎。它提供了大量的库和模块，使其成为自动化各种任务的绝佳选择。

让我们深入自动化的世界，探索 10 个 Python 脚本，看看它们如何简化你的工作，为你节省时间和精力。

1. 自动化文件管理

1.1 - 排序目录中的文件

# Python脚本,用于根据文件扩展名对目录中的文件进行排序
import os
from shutil import move

def sort_files(directory_path):
  for filename in os.listdir(directory_path):
    if os.path.isfile(os.path.join(directory_path, filename)):
      file_extension = filename.split('.')[-1]
      destination_directory = os.path.join(directory_path, file_extension)  
      if not os.path.exists(destination_directory):
        os.makedirs(destination_directory)
      move(os.path.join(directory_path, filename), os.path.join(destination_directory, filename))

1
2
3
4
5
6
7
8
9
10
11
12
13

说明:

这个 Python 脚本根据文件扩展名将文件分类到子目录中,来组织目录中的文件。它识别文件扩展名并将文件移动到适当的子目录中。这对于整理下载文件夹或组织特定项目的文件非常有用。

1.2 - 删除空文件夹

# Python脚本,用于删除目录中的空文件夹
import os

def remove_empty_folders(directory_path):
  for root, dirs, files in os.walk(directory_path, topdown=False):
    for folder in dirs:
      folder_path = os.path.join(root, folder)
      if not os.listdir(folder_path):
        os.rmdir(folder_path)

1
2
3
4
5
6
7
8
9
10

**说明: **

这个 Python 脚本用于在指定目录中搜索和删除空文件夹。它可以帮助你维护干净整洁的文件夹结构,特别是在处理大量数据集时。

1.3 - 批量重命名文件

# Python脚本,用于批量重命名目录中的文件
import os

def rename_files(directory_path, old_name, new_name):
  for filename in os.listdir(directory_path):
    if old_name in filename:
      new_filename = filename.replace(old_name, new_name)
      os.rename(os.path.join(directory_path, filename), os.path.join(directory_path, new_filename))

1
2
3
4
5
6
7
8
9

说明:

这个 Python 脚本允许你同时批量重命名目录中的多个文件。它以旧名称和新名称作为输入,并将所有匹配的文件中的旧名称替换为新名称。

2. 使用 Python 进行网页抓取

2.1 - 从网站中提取数据

# 使用Python进行网页抓取的脚本,以从网站中提取数据
import requests
from bs4 import BeautifulSoup

def scrape_data(url):
  response = requests.get(url)
  soup = BeautifulSoup(response.text, 'html.parser')
  # 在此处编写代码,从网站中提取相关数据

1
2
3
4
5
6
7
8
9

说明:

这个 Python 脚本利用 requests 和 BeautifulSoup 库来抓取网站的数据。它获取网页内容并使用 BeautifulSoup解析 HTML。你可以自定义该脚本以提取诸如标题、产品信息或价格等特定数据。

2.2 - 批量下载图片

# Python脚本,用于从网站批量下载图片
import requests

def download_images(url, save_directory):
  response = requests.get(url)
  if response.status_code == 200:
    images = response.json() # 假设API返回图片URL的JSON数组
    for index, image_url in enumerate(images):
      image_response = requests.get(image_url)
      if image_response.status_code == 200:
        with open(f"{save_directory}/image_{index}.jpg", "wb") as f:
          f.write(image_response.content)

1
2
3
4
5
6
7
8
9
10
11
12
13

说明:

这个Python脚本旨在从网站批量下载图片。它假设该网站提供一个返回图片URL数组的JSON API。该脚本然后遍历这些URL并下载图片,将其保存到指定的目录中。

2.3 - 自动提交表单

# Python脚本,用于自动在网站上提交表单
import requests

def submit_form(url, form_data):
  response = requests.post(url, data=form_data)
  if response.status_code == 200:
    # 在此处编写代码以处理表单提交后的响应

1
2
3
4
5
6
7
8

说明:

这个Python脚本使用POST请求以表单数据自动在网站上提交表单。你可以通过提供URL和要提交的表单数据来自定义该脚本。

3. 文本处理和操作

3.1 - 统计文本文件中的单词数

# Python脚本,用于统计文本文件中的单词数

def count_words(file_path):
  with open(file_path, 'r') as f:
    text = f.read()
    word_count = len(text.split())
  return word_count

1
2
3
4
5
6
7
8

说明:

这个Python脚本读取文本文件并统计其中包含的单词数。它可以用于快速分析文本文档的内容,或跟踪写作项目中的字数。

3.2 - 查找和替换文本

# Python脚本,用于在文件中查找和替换文本

def find_replace(file_path, search_text, replace_text):
  with open(file_path, 'r') as f:
    text = f.read()
    modified_text = text.replace(search_text, replace_text)
  with open(file_path, 'w') as f:    
    f.write(modified_text)

1
2
3
4
5
6
7
8
9

说明:

这个Python脚本在文件中搜索特定文本并将其替换为所需文本。它对批量替换大型文本文件中的某些短语或更正错误非常有用。

3.3 - 生成随机文本

# Python脚本,用于生成随机文本

import random
import string

def generate_random_text(length):
  letters = string.ascii_letters + string.digits + string.punctuation  
  random_text = ''.join(random.choice(letters) for i in range(length))
  return random_text

1
2
3
4
5
6
7
8
9
10

**说明: **

这个Python脚本生成指定长度的随机文本。它可用于测试和模拟目的,甚至作为创作的随机内容源。

4. 自动发送电子邮件

4.1 - 发送个性化电子邮件

# Python脚本,用于向收件人列表发送个性化电子邮件

import smtplib
from email.mime.text import MIMEText
from email.mime.multipart import MIMEMultipart

def send_personalized_email(sender_email, sender_password, recipients, subject, body):

  server = smtplib.SMTP('smtp.gmail.com', 587)
  server.starttls()
  server.login(sender_email, sender_password)

  for recipient_email in recipients:
    message = MIMEMultipart()  
    message['From'] = sender_email
    message['To'] = recipient_email
    message['Subject'] = subject  
    message.attach(MIMEText(body, 'plain'))
    server.sendmail(sender_email, recipient_email, message.as_string())

  server.quit()

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22

说明:

这个Python脚本使你能够向收件人列表发送个性化电子邮件。你可以自定义发件人的电子邮件、密码、主题、正文以及收件人列表。请注意,出于安全考虑,使用Gmail时应使用应用专用密码。

4.2 - 发送带附件的电子邮件

# Python脚本,用于发送带有附件的电子邮件

import smtplib
from email.mime.multipart import MIMEMultipart
from email.mime.base import MIMEBase
from email import encoders

def send_email_with_attachment(sender_email, sender_password, recipient_email, subject, body, file_path):

  server = smtplib.SMTP('smtp.gmail.com', 587)
  server.starttls()
  server.login(sender_email, sender_password)

  message = MIMEMultipart()
  message['From'] = sender_email
  message['To'] = recipient_email
  message['Subject'] = subject

  message.attach(MIMEText(body, 'plain'))

  with open(file_path, "rb") as attachment:
    part = MIMEBase('application', 'octet-stream')
    part.set_payload(attachment.read())
    encoders.encode_base64(part)
    part.add_header('Content-Disposition', f"attachment; filename= {file_path}")
    message.attach(part)

  server.sendmail(sender_email, recipient_email, message.as_string())
  server.quit()

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30

说明:

这个Python脚本允许你发送带有附件的电子邮件。只需提供发件人的电子邮件、密码、收件人的电子邮件、主题、正文以及要附加的文件的路径即可。

4.3 - 自动电子邮件提醒

# Python脚本,用于发送自动电子邮件提醒

import smtplib  
from email.mime.text import MIMEText
from datetime import datetime, timedelta

def send_reminder_email(sender_email, sender_password, recipient_email, subject, body, reminder_date):

  server = smtplib.SMTP('smtp.gmail.com', 587)
  server.starttls()
  server.login(sender_email, sender_password)

  now = datetime.now()
  reminder_date = datetime.strptime(reminder_date, '%Y-%m-%d')

  if now.date() == reminder_date.date():

    message = MIMEText(body, 'plain')
    message['From'] = sender_email  
    message['To'] = recipient_email
    message['Subject'] = subject

    server.sendmail(sender_email, recipient_email, message.as_string())

  server.quit()

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26

说明:

这个Python脚本基于指定日期发送自动电子邮件提醒。它对设置重要任务或事件的提醒非常有用,确保你永远不会错过最后期限。

5. 自动化Excel电子表格

5.1 - 读写Excel

# Python脚本,用于读写Excel电子表格中的数据

import pandas as pd

def read_excel(file_path):
  df = pd.read_excel(file_path)
  return df

def write_to_excel(data, file_path):
  df = pd.DataFrame(data)
  df.to_excel(file_path, index=False) 

1
2
3
4
5
6
7
8
9
10
11
12

说明:

这个Python脚本使用pandas库从Excel电子表格中读取数据并将数据写入新的Excel文件。它允许你以编程方式处理Excel文件,从而提高数据操作和分析的效率。

5.2 - 数据分析和可视化

# 使用pandas和matplotlib进行数据分析和可视化的Python脚本

import pandas as pd
import matplotlib.pyplot as plt

def analyze_and_visualize_data(data):

  # 在此处编写数据分析和可视化的代码

  pass

1
2
3
4
5
6
7
8
9
10
11

说明:

这个Python脚本使用pandas和matplotlib库执行数据分析和可视化。它使你能够探索数据集、洞察数据以及创建数据的可视化表示。

5.3 - 合并多个表格

# Python脚本,用于将多个Excel表合并为一个表

import pandas as pd

def merge_sheets(file_path, output_file_path):

  xls = pd.ExcelFile(file_path)
  df = pd.DataFrame()

  for sheet_name in xls.sheet_names:
    sheet_df = pd.read_excel(xls, sheet_name)
    df = df.append(sheet_df)
  
  df.to_excel(output_file_path, index=False)

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15

说明:

这个Python脚本合并Excel文件中多个表的数据到一个表中。当你的数据分布在不同的表中,但想进行汇总以进行进一步分析时,它很方便。

6. 与数据库交互

6.1 - 连接数据库

# Python脚本,用于连接数据库并执行查询

import sqlite3

def connect_to_database(database_path):
  connection = sqlite3.connect(database_path)
  return connection

def execute_query(connection, query):
  cursor = connection.cursor()
  cursor.execute(query)
  result = cursor.fetchall()
  return result

1
2
3
4
5
6
7
8
9
10
11
12
13
14

说明:

这个Python脚本允许你连接SQLite数据库并执行查询。通过使用适当的Python数据库驱动程序,你可以将其修改为使用其他数据库管理系统(如MySQL或PostgreSQL)。

6.2 - 执行SQL查询

# Python脚本,用于在数据库上执行SQL查询

import sqlite3

def execute_query(connection, query):

  cursor = connection.cursor()
  cursor.execute(query)  
  result = cursor.fetchall()

  return result

1
2
3
4
5
6
7
8
9
10
11
12

说明:

这个Python脚本是一个通用函数,用于在数据库上执行SQL查询。你可以将查询作为参数传递给该函数以及数据库连接对象,它将返回查询的结果。

6.3 - 数据备份和恢复

import shutil

def backup_database(database_path, backup_directory):
  shutil.copy(database_path, backup_directory) 

def restore_database(backup_path, database_directory):
  shutil.copy(backup_path, database_directory)  

1
2
3
4
5
6
7
8

说明:

这个Python脚本允许你创建数据库的备份并在需要时进行恢复。它是防止宝贵数据意外丢失的预防措施。

7. 自动化系统任务

7.1 - 管理系统进程

# Python脚本,用于管理系统进程

import psutil

def get_running_processes():

  return [p.info for p in psutil.process_iter(['pid', 'name', 'username'])]

def kill_process_by_name(process_name):

  for p in psutil.process_iter(['pid', 'name', 'username']):
    if p.info['name'] == process_name:
      p.kill()

1
2
3
4
5
6
7
8
9
10
11
12
13
14

说明:

这个Python脚本使用psutil库来管理系统进程。它允许你检索运行进程的列表并通过名称终止指定的进程。

7.2 - 使用Cron安排任务

# Python脚本,用于使用cron语法安排任务

from crontab import CronTab

def schedule_task(command, schedule):

  cron = CronTab(user=True)
  job = cron.new(command=command)
  job.setall(schedule)
  cron.write()

1
2
3
4
5
6
7
8
9
10
11

说明:

这个Python脚本利用crontab库使用cron语法来调度任务。它支持以正则间隔或特定时间自动执行特定命令。

7.3 - 监控磁盘空间

# Python脚本,用于监控磁盘空间并在空间不足时发送警告

import psutil

def check_disk_space(minimum_threshold_gb):

  disk = psutil.disk_usage('/')
  free_space_gb = disk.free / (2**30) # 将字节转换为GB

  if free_space_gb < minimum_threshold_gb:
    
    # 在此处编写代码以发送警告(电子邮件、通知等)

    pass

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15

说明:

这个Python脚本监视系统上的可用磁盘空间,如果低于指定阈值则发送警告。这对于磁盘空间的积极管理和避免因磁盘空间不足导致的数据丢失非常有用。

8. 网络自动化

8.1 - 检查网站状态

# Python脚本,用于检查网站状态

import requests

def check_website_status(url):

  response = requests.get(url)

  if response.status_code == 200:

    # 在此处编写代码以处理成功的响应

  else:

    # 在此处编写代码以处理不成功的响应

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16

说明:

这个Python脚本通过向提供的URL发送HTTP GET请求来检查网站的状态。它有助于监控网站的可用性及其响应代码。

8.2 - 自动化FTP传输

# Python脚本,用于自动化FTP文件传输

from ftplib import FTP  

def ftp_file_transfer(host, username, password, local_file_path, remote_file_path):

  with FTP(host) as ftp:
    ftp.login(user=username, passwd=password)
    with open(local_file_path, 'rb') as f:
      ftp.storbinary(f'STOR {remote_file_path}', f)

1
2
3
4
5
6
7
8
9
10
11

说明:

这个Python脚本使用FTP协议自动化文件传输。它连接到FTP服务器,使用提供的凭据登录,并将本地文件上传到指定的远程位置。

8.3 - 网络设备配置

# Python脚本,用于自动化网络设备配置

from netmiko import ConnectHandler

def configure_network_device(host, username, password, configuration_commands):

  device = {
    'device_type': 'cisco_ios',  
    'host': host,
    'username': username,
    'password': password,
  }

  with ConnectHandler(device) as net_connect:
    net_connect.send_config_set(configuration_commands)

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16

说明:

这个Python脚本使用netmiko库自动配置网络设备,如思科路由器和交换机。你可以提供一系列配置命令,脚本将在目标设备上执行它们。

9. 数据清理和转换

9.1 - 从数据中删除重复项

# Python脚本,用于从数据中删除重复项

import pandas as pd

def remove_duplicates(data_frame):

  cleaned_data = data_frame.drop_duplicates()

  return cleaned_data

1
2
3
4
5
6
7
8
9
10

说明:

这个Python脚本使用pandas从数据集中删除重复行。这是确保数据完整性和提高数据分析的简单有效的方法。

9.2 - 数据规范化

# 数据规范化的Python脚本

import pandas as pd

def normalize_data(data_frame):

  normalized_data = (data_frame - data_frame.min()) / (data_frame.max() - data_frame.min())

  return normalized_data

1
2
3
4
5
6
7
8
9
10

说明:

这个Python脚本使用最小-最大规范化技术对数据进行规范化。它将数据集中的值缩放到0到1范围内,使比较不同特征更容易。

9.3 - 处理缺失值

# Python脚本,用于处理数据中的缺失值

import pandas as pd

def handle_missing_values(data_frame):

  filled_data = data_frame.fillna(method='ffill')

  return filled_data

1
2
3
4
5
6
7
8
9
10

说明:

这个Python脚本使用pandas处理数据集中的缺失值。它使用向前填充方法用前一个非缺失值填充缺失值。

10. 自动化PDF操作

10.1 - 从PDF中提取文本

# Python脚本,用于从PDF中提取文本

import PyPDF2

def extract_text_from_pdf(file_path):

  with open(file_path, 'rb') as f:
    pdf_reader = PyPDF2.PdfFileReader(f)
    text = ''
    for page_num in range(pdf_reader.numPages):
      page = pdf_reader.getPage(page_num)
      text += page.extractText()

  return text

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15

说明:

这个Python脚本使用PyPDF2库从PDF文件中提取文本。它读取PDF的每一页并将提取的文本编译成一个字符串。

10.2 - 合并多个PDF

# Python脚本,用于将多个PDF合并为一个PDF

import PyPDF2

def merge_pdfs(input_paths, output_path):

  pdf_merger = PyPDF2.PdfMerger()

  for path in input_paths:
    with open(path, 'rb') as f: 
      pdf_merger.append(f)

  with open(output_path, 'wb') as f:
    pdf_merger.write(f)

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15

说明:

这个Python脚本将多个PDF文件合并为一个PDF文档。这对于合并独立的PDF报告、演示文稿或其他文档到一个连贯的文件很有用。

10.3 - 添加密码保护

# Python脚本,用于为PDF添加密码保护

import PyPDF2

def add_password_protection(input_path, output_path, password):

  with open(input_path, 'rb') as f:
    pdf_reader = PyPDF2.PdfFileReader(f)
    pdf_writer = PyPDF2.PdfFileWriter()
    for page_num in range(pdf_reader.numPages):
      page = pdf_reader.getPage(page_num)
      pdf_writer.addPage(page)
    pdf_writer.encrypt(password)
    with open(output_path, 'wb') as output_file:
      pdf_writer.write(output_file)

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16

说明:

这个Python脚本为PDF文件添加密码保护。它使用密码加密PDF，确保只有那些知道正确密码的人才能访问内容。

结论

在本文中，我们探索了不同领域的10个Python脚本，这些脚本可以完成自动化过程。从网页抓取和网络自动化到机器学习和物联网设备控制，Python的通用性允许我们高效地自动化广泛的过程。

自动化不仅可以节省时间和精力，还可以减少错误的风险，提高整体效率。通过自定义和扩展这些脚本，你可以创建定制的自动化解决方案以满足特定需求。

那么还在等什么?从今天开始使用Python实现工作自动化，体验流程优化和效率提升的力量吧!

常见问题

1. Python适合用于自动化吗?

非常适合!由于其简单性、可读性和广泛的库，Python是自动化的最流行编程语言之一。它可以自动化广泛的任务，使其成为开发者和IT专业人士的首选。

1. 使用Python自动化任务的好处是什么?

使用Python自动化任务的好处包括提高效率、减少手动错误、节省时间和提高生产力。Python的易用性和丰富的生态系统使其成为自动化项目的绝佳选择。

1. 我可以在自己的项目中使用这些脚本吗?

可以，你可以将这些脚本作为项目的起点。但是请注意，提供的代码片段仅用于说明目的，可能需要根据你的特定要求和API进行修改。

1. 运行这些脚本需要安装任何库吗?

是的，一些脚本利用了外部库。在运行脚本之前，请确保安装所需的库。你可以使用 pip install <library-name> 来安装任何缺失的库。

1. 我可以商业化使用这些脚本吗?

本文中提供的脚本旨在用于教学和说明目的。虽然你可以将它们作为项目的基础，但是在商业项目中始终要查看并遵守所使用的任何外部库、API或服务的条款和条件。

1. 如何进一步优化这些脚本以适应我的特定用例?

为适应你的特定用例，你可能需要修改代码、添加错误处理、自定义数据处理步骤以及集成必要的 API 或服务。务必彻底测试脚本以确保它们满足你的要求。

1. Python可以自动化复杂的任务吗?

可以，Python能够自动化跨领域的复杂任务，包括数据分析、机器学习、网页抓取等。有了正确的库和算法，你可以高效地处理复杂的任务。

1. 自动化任务存在哪些安全方面的考虑?

是的，在自动化涉及敏感数据、API或设备的任务时，实施安全措施至关重要。使用安全连接(HTTPS、SSH)、避免硬编码敏感信息，并考虑访问控制和认证来保护你的系统和数据。

以上就是“十大常用python自动化脚本”的全部内容，希望对你有所帮助。
​
​关于Python技术储备

学好 Python 不论是就业还是做副业赚钱都不错，但要学会 Python 还是要有一个学习规划。最后大家分享一份全套的 Python 学习资料，给那些想学习 Python 的小伙伴们一点帮助！

一、Python所有方向的学习路线

Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。

二、Python必备开发工具

三、Python视频合集

观看零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

四、实战案例

光学理论是没用的，要学会跟着一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

五、Python练习题

检查学习结果。

六、面试资料

我们学习Python必然是为了找到高薪的工作，下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料，并且有阿里大佬给出了权威的解答，刷完这一套面试资料相信大家都能找到满意的工作。

最后祝大家天天进步！！

上面这份完整版的Python全套学习资料已经上传至CSDN官方，朋友如果需要可以直接微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】。