[python3.6+] 通过换源解决github仓库克隆速度慢的问题

shooan

[python3.6+] 通过换源解决github仓库克隆速度慢的问题

说明

由于网络的问题，我们使用在克隆github仓库的时候，发现速度是很慢的。如果仓库比较大的话，这种体验是很糟糕的。

所以我写了这个python脚本。

使用要求：

• python3.6+
• git

代码和使用方法

代码

代码托管在码云上面，仓库的连接为：

fasterclone: make git clone faster in China Mainland by changing source. (gitee.com)

如果你不使用码云的话，直接使用下面的代码

#!/usr/bin/env python
# 文件名: fasterclone.py
import subprocess
import sys
import os

# exit code
NO_URL_PROVIDED = 1
URL_FORMAT_ERROR = 2
CLONE_FAILED = 3
REPO_NOT_EXISTS = 4

def get_github_repo_rul(args):
  github_repo_url = ''
  github_repo_urls = [x for x in args if x.startswith('https://github.com/') and x.endswith('.git')]
  try:
    github_repo_url = github_repo_urls[0]
  except IndexError:
    pass
  return github_repo_url

# change source
def change_source(github_repo_url):
  replaced_repo_url = github_repo_url.replace('github.com', 'github.com.cnpmjs.org')
  return replaced_repo_url

# perform clone 
def clone(args):

  proc = subprocess.run(["git", "clone", *args])

  if proc.returncode != 0:
    exit(CLONE_FAILED)

def get_repo_dir(url):
  # get repo name
  # e.g. parse `breakfast` from  https://github.com/Blithe-Chiang/breakfast.git 
  repo_dir = url[url.rindex('/')+1:-4] # default 

  return repo_dir

# restore original upstream
def restore(repo_dir, original_url):
  print('restoring...')

  os.chdir(repo_dir)

  subprocess.run(["git", "remote", "remove", "origin"])
  subprocess.run(["git", "remote", "add", "origin", original_url])

def main():
  args = sys.argv[1:]

  github_repo_url = get_github_repo_rul(args)

  # do not change source because this is not a github repo
  if not github_repo_url:
    clone(args)
    exit(0)

  # change source
  idx = args.index(github_repo_url)
  replaced_url = change_source(github_repo_url)
  args = args[:idx] + [replaced_url] + args[idx+1:]

  clone(args)

  # restore the original url
  try:
    # from git-clone manual
    # syntax: git clone <repository> [<directory>]
    repo_dir = args[idx+1] # try to get specified directory
  except IndexError:
    repo_dir = get_repo_dir(github_repo_url)

  restore(repo_dir, github_repo_url)

if __name__ == '__main__':
  main()

使用方法

假设上述的代码被保存为 fasterclone.py

python fasterclone.py <仓库地址>

示例

使用此脚本

使用git clone

可以看到，速度还是有点差别的

原理

换源

将clone源从 github.com 换成 github.com.cnpmjs.org。类似于pip换源。

这是github仓库的国内的镜像源。可以加速克隆的速度。

还原

将仓库的origin重新还原成 github.com。让git认为你的远程仓库位于github。

感觉这一步不是很有必要，但是还是顺手实现了这个功能。

已知问题

换源成 github.com.cnpmjs.org ，可能会出现，克隆下来的仓库只有master/main分支。这个应该是镜像源的问题。

黄教主

搞这么复杂 直接使用git insteadof 替换github.com的地址就好了

shooan

黄教主 发表于 2021-9-25 20:53
搞这么复杂 直接使用git insteadof 替换github.com的地址就好了

学到了！！看来我对git的了解还是太少了