baiping520 发表于 2024-6-10 22:26

Python实现简单负载均衡

使用场景,最近在研究把废弃的安卓手机利用起来跑python代码,但是有好多台安卓手机。我就想着把其中一台拿来做负载均衡,然后分配给其他4台烂手机,哈哈哈,废物再利用。至于安卓怎么跑python代码,就自己查一下相关资料了哈,这里就不赘述了。
import requests
import threading
import time
from queue import Queue

# 定义服务器列表和缓存池
servers = ["http://serverA.com", "http://serverB.com", "http://serverC.com", "http://serverD.com"]
cache_pool = Queue(maxsize=len(servers))

# 初始化缓存池,将所有服务器加入缓存池
for server in servers:
    cache_pool.put(server)

# 检查服务器状态的函数
def check_server_status():
    while True:
      for server in servers:
            try:
                # 尝试请求服务器
                response = requests.get(server, timeout=5)
                # 如果服务器正常且不在缓存池中,将其加入缓存池
                if response.status_code == 200 and server not in list(cache_pool.queue):
                  cache_pool.put(server)
            except requests.RequestException:
                # 如果服务器不可用且在缓存池中,将其从缓存池移除
                if server in list(cache_pool.queue):
                  with cache_pool.mutex:
                        queue_list = list(cache_pool.queue)
                        queue_list.remove(server)
                        cache_pool.queue = Queue(len(queue_list))
                        for s in queue_list:
                            cache_pool.put(s)
      # 每10秒检查一次服务器状态
      time.sleep(10)

# 启动服务器状态检查线程
status_thread = threading.Thread(target=check_server_status)
status_thread.daemon = True
status_thread.start()

# 处理请求的函数
def handle_request(method, url, headers=None, cookies=None, data=None, retries=3):
    # 如果缓存池为空,返回错误信息
    if cache_pool.empty():
      return {"error": "No available servers"}

    # 从缓存池中获取一个服务器
    server = cache_pool.get()
    try:
      # 处理GET请求
      if method == 'GET':
            response = requests.get(f"{server}{url}", headers=headers, cookies=cookies)
      # 处理POST请求
      elif method == 'POST':
            response = requests.post(f"{server}{url}", headers=headers, cookies=cookies, data=data)
      else:
            response = {"error": "Unsupported HTTP method"}
      # 将服务器放回缓存池
      cache_pool.put(server)
      return response
    except requests.RequestException:
      # 如果请求失败,递归重试
      if retries > 0:
            return handle_request(method, url, headers, cookies, data, retries - 1)
      else:
            return {"error": "Failed to process request after retries"}

# 示例使用
if __name__ == "__main__":
    headers = {"Content-Type": "application/json"}
    cookies = {"session_id": "123456"}
    data = {"key": "value"}

    # GET请求示例
    get_response = handle_request('GET', '/api/test', headers=headers, cookies=cookies)
    print(get_response.text if isinstance(get_response, requests.Response) else get_response)

    # POST请求示例
    post_response = handle_request('POST', '/api/test', headers=headers, cookies=cookies, data=data)
    print(post_response.text if isinstance(post_response, requests.Response) else post_response)


代码注释说明
[*]
服务器列表和缓存池初始化:

[*]服务器列表 servers 包含四个服务器的URL。
[*]使用 Queue 初始化缓存池 cache_pool,大小为服务器数量。
[*]将所有服务器加入缓存池。
[*]
检查服务器状态的函数 check_server_status:

[*]该函数在一个独立的线程中运行,定期检查服务器状态。
[*]对每个服务器发送一个GET请求,超时时间为5秒。
[*]如果服务器响应正常且不在缓存池中,将其加入缓存池。
[*]如果服务器不可用且在缓存池中,将其从缓存池中移除。
[*]每10秒检查一次服务器状态。
[*]
处理请求的函数 handle_request:

[*]从缓存池中获取一个可用服务器。
[*]根据请求方法(GET或POST)发送请求。
[*]请求完成后将服务器放回缓存池。
[*]如果请求失败,递归重试最多3次。
[*]
示例使用:

[*]设置请求头 headers 和 cookies。
[*]发送一个GET请求并打印响应。
[*]发送一个POST请求并打印响应。

通过这些注释,应该可以更清楚地理解代码的实现和工作原理。

jingjing11 发表于 2024-6-11 08:17

进赖学习学习

baliao 发表于 2024-6-11 08:25

感谢楼主分享

fengshengshou 发表于 2024-6-11 08:41

这个“简单”也不老简单的。。。

darkfriday 发表于 2024-6-11 09:21

server = cache_pool.get()
你这是从队列中循环取头部,完事儿后再放到尾部吧?

Kbai 发表于 2024-6-11 10:40

学习学习

st0rm 发表于 2024-6-11 10:48

楼主这个想法很棒啊,废物利用

zhu2023 发表于 2024-6-11 11:55

给了思路,谢谢

kings0b 发表于 2024-6-11 12:03

学到了!!!

wendellzwy 发表于 2024-6-12 12:27

学习了,感谢分享
页: [1] 2
查看完整版本: Python实现简单负载均衡