Python利用Semaphore控制线程数量
本帖最后由 香谢枫林 于 2020-2-27 11:25 编辑最近写Python需要用到线程，考虑到机器性能和网站访问限制情况，又不能使用太多的限制，所以研究了下线程控制，在此分享给大家。
使用起来很简单，利用Semaphore控制线程需要用到3个函数：
sem = threading.Semaphore(4) # 限制线程的最大数量为4个（控制线程数量）
sem.acquire() # 获得线程，可用线程数减1（获取线程）
sem.release() # 释放线程数，线程数加1（释放线程）
import threading,time,random
def get_num(i,sem):
sleeptime = random.randint(1,5)
print("开始第"+str(i)+"个线程:"+str(sleeptime)+"秒")
time.sleep(sleeptime)
sem.release()# 释放线程数，线程数加1
print("~结束第" + str(i) + "个线程")
return
def main():
sem = threading.Semaphore(4)# 限制线程的最大数量为4个
for i in range(1,10):
sem.acquire()# 获得线程，可用线程数减1
# th = threading.Thread(target=get_num,args=(i, sem)) #给执行函数传递值
# th.start() #执行函数
threading.Thread(target=get_num, args=(i, sem)).start() #给执行函数传递值，包括sem线程锁，并执行函数
if __name__ =="__main__":
main()
这个程序是模拟线程执行，模拟9个线程，每个线程执行时利用sleep随机时间模拟执行时间，执行结果如下：
执行结果符合预期！ cpython解释器的线程没多大意义吧，如果是想提高效率不如用协程，但是我看你是想限制爬取的频率，这个多线程还不如用单线程吧 Nelson_saberbin 发表于 2020-2-27 11:40
cpython解释器的线程没多大意义吧，如果是想提高效率不如用协程，但是我看你是想限制爬取的频率，这个多线 ...
对于爬取一些网站、论坛的数据，单线程比较慢，多线程需要控制频率，不然容易被封号，所以才有线程控制的需要。 感谢分享，先收藏了 感谢分享
页:
[1]