网站 › 『编程语言讨论求助区』 › 多个.py文件运行怎样提高效率？

double07 发表于 2021-11-30 10:52

多个.py文件运行怎样提高效率？

本帖最后由 double07 于 2021-11-30 10:55 编辑

import os
os.system("python ./ 人数1.py")
os.system("python ./正在进行.py")
os.system("python ./人数2.py")
os.system("python ./人数3.py")
os.system("python ./1.一级页面_1.py")
os.system("python ./1.一级页面_2.py")
os.system("python ./1.一级页面_3.py")
os.system("python ./7.3自动更新_一级页面1.py")
os.system("python ./7.2自动更新_一级页面2.py")
os.system("python ./7.1自动更新一级页面2.py")

每天都要执行这些py文件，都是顺序执行，感觉效率太低，有什么办法可以同一个时间点一起执行？多线程还是异步 或其它方式？

闲聊几句：爬取淘宝数据爬到一半就跳转到非正常页面，无法继续抓数据，有什么好的办法能让它持续抓数据？（代{过}{滤}理线程池什么的不好用，加time sleep也不稳定）

田田爱崽崽 发表于 2021-11-30 11:00

直接开命令行去运行嘛，多开几个不就可以一起运行了吗

HULANG-BTB 发表于 2021-11-30 11:02

本帖最后由 HULANG-BTB 于 2021-11-30 11:07 编辑

多线程，多进程都可，或者打开多个运行实例


from multiprocessing import Process

class Program1(Process):

    def __init__(self):
      Process.__init__(self)

    def run(self) -> None:
      # 程序1
      pass


class Program2(Process):
    def __init__(self):
      Process.__init__(self)

    def run(self) -> None:
      # 程序2
      pass


if __name__ == '__main__':
    p1 = Program1()
    p2 = Program2()
    p1.start()
    p2.start()
    p1.join()
    p2.join()

wangzhenj 发表于 2021-11-30 11:09

HULANG-BTB 发表于 2021-11-30 11:02
多线程，多进程都可，或者打开多个运行实例




真的不错啊

ynboyinkm 发表于 2021-11-30 11:29

HULANG-BTB 发表于 2021-11-30 11:02
多线程，多进程都可，或者打开多个运行实例




很好的办法呀{:1_921:}{:1_921:}

狐白本白 发表于 2021-11-30 11:38

淘宝数据还可以爬吗，是我垃圾了吗，我写的爬淘宝程序全运行不出东西来，求教

as51271239 发表于 2021-11-30 13:20

肯定多线程

double07 发表于 2021-11-30 13:36

狐白本白 发表于 2021-11-30 11:38
淘宝数据还可以爬吗，是我垃圾了吗，我写的爬淘宝程序全运行不出东西来，求教

阿里**数据。方法在CSDN找的野路子

double07 发表于 2021-11-30 13:41

.py文件能直接使用多线程？

李佑辰 发表于 2021-11-30 14:09

狐白本白 发表于 2021-11-30 11:38
淘宝数据还可以爬吗，是我垃圾了吗，我写的爬淘宝程序全运行不出东西来，求教

技术不到位肯定不出来东西咯

查看完整版本: 多个.py文件运行怎样提高效率？