天空宫阙 发表于 2020-3-18 17:40

nodejs 搭建某音web端_signature参数生成的服务(puppeteer+express)

本帖最后由 天空宫阙 于 2020-3-20 19:09 编辑

nodejs 搭建某音web端_signature参数的服务(puppeteer+express)
核心思路照搬 https://github.com/coder-fly/douyin-signature
自己改的代码地址 https://github.com/skygongque/douyin_signature

改成puppeteer驱动chromium,并用express做成服务,这样就是纯js的。
核心逻辑是
1.得到uid请求源码得到tac
2.puppeteer驱动chromium在console中执行签名算法
3.返回signature

尝试过在node环境中计算signature奈何那段签名算法混淆太牛逼无法移除检测环境的代码


## 环境需求
### node puppeteer express superagent
自行npm 或 cnpm 安装


puppeteer安装如果出错自行百度


## 在本地搭建服务生成指定uid的signature
### 搭建完成后
另外启动服务后耐心等待几秒等初始化完毕再请求接口,毕竟要启动一个无头浏览器快不了,之后的响应还是很快的。
可请求接口

`
http://localhost:5000/user?uid=102064772608
`

返回内容示例





## 更进一步传入uid直接返回主页json数据
请求接口

`
http://localhost:5000/data?uid=102064772608
`

返回内容示例



核心服务代码

const express = require('express');
const puppeteer = require('puppeteer');
const get_sign = require('./douyin_2');
const superagent = require('superagent');
// var bodyParser = require('body-parser');

const app = express();
// app.use(bodyParser());

var browser;
var page;



(async () => {
    // 初始化
    browser = await puppeteer.launch({ headless: true, args: ['--no-sandbox', '--disable-setuid-sandbox'] });
    page = await browser.newPage();
    // 去除webdriver
    await page.evaluateOnNewDocument(() => {
      const newProto = navigator.__proto__;
      delete newProto.webdriver;
      navigator.__proto__ = newProto;
    });
    await page.setUserAgent('Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.132 Safari/537.36');
    console.log('初始化完毕');
})();

// http://localhost:5000/user?uid=102064772608
app.get('/user', async function (req, res) {
    try {
      console.log(req.url);
      var uid = req.query.uid;
      // 特殊字符存在,代码请求的tac有问题
      var tac_ = '|ms g,)gk}ejo{\x7fcms!g,&Iebli\x7fms"l!,)~oih\x7fgyucmk"t (\x80,.jjvx|vDgyg}knbl"d"inkfl"v,.jjvx|vDgyg}knbmxl!,)~oih\x7fgyucgr&Objectn vuq%valuevfq(writable[#c}) %{s#t ,4KJarz}hrjxl@EWCOQDRB,3LKfs{}wsnqB{iAMWBP@,;DCj{}DSKUAWyTKdc_$ n"[!cvk:}l ,(lfi~ah`{ml&m,&efkaoTmk"t j\uffcef z[ cb|1d<,%Dscafgd"in,8[xtm}nLzNEGQMKAdGG^NTY\x1ckgd"inb<b|1d<g,&TboLr{m,(\x02)!jx-2n&vr$testxg,%@tug{mn ,%vrfkbm[!cb|'
      var _tac = await getTac(uid);
      // console.log(_tac)
      if (_tac == null) {
            res.send(`{"code":-1,"context":"Fail to get tac.","reason":"No such uid ${uid}.Try again if you sure uid is correct."}`);
      } else {
            tac = _tac + tac_;
            // console.log(tac)
            // var tac = 'i)6a5my560cs!i#158s"0y\u02a1g,&qnfme|ms g,)gk}ejo{\x7fcms!g,&Iebli\x7fms"l!,)~oih\x7fgyucmk"t (\x80,.jjvx|vDgyg}knbl"d"inkfl"v,.jjvx|vDgyg}knbmxl!,)~oih\x7fgyucgr&Objectn vuq%valuevfq(writable[#c}) %{s#t ,4KJarz}hrjxl@EWCOQDRB,3LKfs{}wsnqB{iAMWBP@,;DCj{}DSKUAWyTKdc_$ n"[!cvk:}l ,(lfi~ah`{ml&m,&efkaoTmk"t j\uffcef z[ cb|1d<,%Dscafgd"in,8[xtm}nLzNEGQMKAdGG^NTY\x1ckgd"inb<b|1d<g,&TboLr{m,(\x02)!jx-2n&vr$testxg,%@tug{mn ,%vrfkbm[!cb|'
            // await page.goto(`https://www.iesdouyin.com/share/user/${uid}`);
            var result = await get_signature_for_get(uid, tac);
            res.send(result);
      }

    } catch (e) {
      res.send(e);
    }


})

app.get('/data', async function (req, res) {
    try {
      console.log(req.url);
      var uid = req.query.uid;
      var tac_ = '|ms g,)gk}ejo{\x7fcms!g,&Iebli\x7fms"l!,)~oih\x7fgyucmk"t (\x80,.jjvx|vDgyg}knbl"d"inkfl"v,.jjvx|vDgyg}knbmxl!,)~oih\x7fgyucgr&Objectn vuq%valuevfq(writable[#c}) %{s#t ,4KJarz}hrjxl@EWCOQDRB,3LKfs{}wsnqB{iAMWBP@,;DCj{}DSKUAWyTKdc_$ n"[!cvk:}l ,(lfi~ah`{ml&m,&efkaoTmk"t j\uffcef z[ cb|1d<,%Dscafgd"in,8[xtm}nLzNEGQMKAdGG^NTY\x1ckgd"inb<b|1d<g,&TboLr{m,(\x02)!jx-2n&vr$testxg,%@tug{mn ,%vrfkbm[!cb|'
      var _tac = await getTac(uid);
      if (_tac == null) {
            res.send(`{"code":-1,"context":"Fail to get tac.","reason":"No such uid ${uid}.Try again if you sure uid is correct."}`);
      } else {
            tac = _tac + tac_;
            var result = await get_signature_for_get(uid, tac);
            var data_json = await get_data(uid, result.signature);
            res.send(JSON.stringify(data_json));
      }
    } catch (e) {
      res.send(e);
    }

})


app.listen(5000, function () {
    console.log('启动服务端口5000')
})


async function get_signature_for_get(uid, tac) {
    console.log('prepare to get signature...')
    // await page.evaluate(`var uid ="${uid}"`);
    // var tac='i)6a5577mhvs!i#ds7s"0y\u02a1g,&qnfme|ms g,)gk}ejo{\x7fcms!g,&Iebli\x7fms"l!,)~oih\x7fgyucmk"t (\x80,.jjvx|vDgyg}knbl"d"inkfl"v,.jjvx|vDgyg}knbmxl!,)~oih\x7fgyucgr&Objectn vuq%valuevfq(writable[#c}) %{s#t ,4KJarz}hrjxl@EWCOQDRB,3LKfs{}wsnqB{iAMWBP@,;DCj{}DSKUAWyTKdc_$ n"[!cvk:}l ,(lfi~ah`{ml&m,&efkaoTmk"t j\uffcef z[ cb|1d<,%Dscafgd"in,8[xtm}nLzNEGQMKAdGG^NTY\x1ckgd"inb<b|1d<g,&TboLr{m,(\x02)!jx-2n&vr$testxg,%@tug{mn ,%vrfkbm[!cb|'
    // douyin_2 文件的函数
    var get_signature = get_sign.get_signature;
    // uid,tac
    var args = {
      "uid": uid,
      "tac": Buffer.from(tac, 'utf-8').toString('base64'),
    }
    args_str = JSON.stringify(args);
    // console.log(args_str);
    var signature = await page.evaluate(get_signature, args_str);
    console.log(signature)
    return signature;
};


async function getTac(uid) {
    console.log('getting tac...')
    try {
      var url = `https://www.iesdouyin.com/share/user/${uid}`
      var res = await superagent.get(url)
            .set({
                'user-agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.116 Safari/537.36',
            })
            .timeout({
                response: 5000,// Wait 5 seconds for the server to start sending,
                deadline: 10000, // but allow 10 seconds for the file to finish loading.
            })
            .retry(2);
      var result = res.text.match(/<script>tac=\'(.*?)\'<\/script>/g);
      var tac = result.slice(13, result.length - 10);
      // 代码请求的完整Tac有错误,只取tac一小部分
      return tac.split('|');
    } catch (e) {
      return null;
    }

}

async function get_data(uid, signature) {
    // console.log(signature);
    try {
      var url = `https://www.iesdouyin.com/web/api/v2/aweme/post/?user_id=${uid}&sec_uid=&count=21&max_cursor=0&aid=1128&_signature=${signature}&dytk=df4a9c279a56fe0d2bca0d3d98d36320`
      // console.log(url);
      var res = await superagent.get(url)
            .set({
                'user-agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.132 Safari/537.36',
                // 'accept': 'application/json',
                // 'accept-encoding': "gzip, br",
            })
            .timeout({
                response: 5000,// Wait 5 seconds for the server to start sending,
                deadline: 10000, // but allow 10 seconds for the file to finish loading.
            })
            .retry(2);
      return res.body;
    } catch (e) {
      console.log(e)
      return null;
    }
}

douyin_2.js文件中的代码
function get_signature(args_str) {
    var args = JSON.parse(args_str);
    var uid = args.uid;
    this.tac = decodeURIComponent(escape(window.atob(args.tac)));
    var mytest = {};
    this.navigator = {
      userAgent: "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.132 Safari/537.36"
    }
    !function anonymous1() {
      function e(e, a, r) {
            return (b || (b = t("x,y", "return x " + e + " y")))(r, a)
      }
      function a(e, a, r) {
            return (k || (k = t("x,y", "return new x(" + Array(r + 1).join(",x[++y]").substr(1) + ")")))(e, a)
      }
      function r(e, a, r) {
            var n, t, s = {}, b = s.d = r ? r.d + 1 : 0;
            for (s["$" + b] = s,
                t = 0; t < b; t++)
                s = r;
            for (t = 0,
                b = s.length = a.length; t < b; t++)
                s = a;
            return c(e, 0, s)
      }
      function c(t, b, k) {
            function u(e) {
                v = e
            }
            function f() {
                return g = t.charCodeAt(b++) - 32,
                  t.substring(b, b += g)
            }
            function l() {
                try {
                  y = c(t, b, k)
                } catch (e) {
                  h = e,
                        y = l
                }
            }
            for (var h, y, d, g, v = [], x = 0; ;)
                switch (g = t.charCodeAt(b++) - 32) {
                  case 1:
                        u(!v[--x]);
                        break;
                  case 4:
                        v = f();
                        break;
                  case 5:
                        u(function (e) {
                            var a = 0
                              , r = e.length;
                            return function () {
                              var c = a < r;
                              return c && u(e),
                                    c
                            }
                        }(v[--x]));
                        break;
                  case 6:
                        y = v[--x],
                            u(v[--x](y));
                        break;
                  case 8:
                        if (g = t.charCodeAt(b++) - 32,
                            l(),
                            b += g,
                            g = t.charCodeAt(b++) - 32,
                            y === c)
                            b += g;
                        else if (y !== l)
                            return y;
                        break;
                  case 9:
                        v = c;
                        break;
                  case 10:
                        u(s(v[--x]));
                        break;
                  case 11:
                        y = v[--x],
                            u(v[--x] + y);
                        break;
                  case 12:
                        for (y = f(),
                            d = [],
                            g = 0; g < y.length; g++)
                            d = y.charCodeAt(g) ^ g + y.length;
                        u(String.fromCharCode.apply(null, d));
                        break;
                  case 13:
                        y = v[--x],
                            h = delete v[--x];
                        break;
                  case 14:
                        v = t.charCodeAt(b++) - 32;
                        break;
                  case 59:
                        u((g = t.charCodeAt(b++) - 32) ? (y = x,
                            v.slice(x -= g, y)) : []);
                        break;
                  case 61:
                        u(v[--x]);
                        break;
                  case 62:
                        g = v[--x],
                            k = 65599 * k + k.charCodeAt(g) >>> 0;
                        break;
                  case 65:
                        h = v[--x],
                            y = v[--x],
                            v[--x] = h;
                        break;
                  case 66:
                        u(e(t, v[--x], v[--x]));
                        break;
                  case 67:
                        y = v[--x],
                            d = v[--x],
                            u((g = v[--x]).x === c ? r(g.y, y, k) : g.apply(d, y));
                        break;
                  case 68:
                        u(e((g = t) < "<" ? (b--,
                            f()) : g + g, v[--x], v[--x]));
                        break;
                  case 70:
                        u(!1);
                        break;
                  case 71:
                        v = n;
                        break;
                  case 72:
                        v = +f();
                        break;
                  case 73:
                        u(parseInt(f(), 36));
                        break;
                  case 75:
                        if (v[--x]) {
                            b++;
                            break
                        }
                  case 74:
                        g = t.charCodeAt(b++) - 32 << 16 >> 16,
                            b += g;
                        break;
                  case 76:
                        u(k);
                        break;
                  case 77:
                        y = v[--x],
                            u(v[--x]);
                        break;
                  case 78:
                        g = t.charCodeAt(b++) - 32,
                            u(a(v, x -= g + 1, g));
                        break;
                  case 79:
                        g = t.charCodeAt(b++) - 32,
                            u(k["$" + g]);
                        break;
                  case 81:
                        h = v[--x],
                            v[--x] = h;
                        break;
                  case 82:
                        u(v[--x]);
                        break;
                  case 83:
                        h = v[--x],
                            k = h;
                        break;
                  case 84:
                        v = !0;
                        break;
                  case 85:
                        v = void 0;
                        break;
                  case 86:
                        u(v);
                        break;
                  case 88:
                        h = v[--x],
                            y = v[--x],
                            v = h,
                            v = y;
                        break;
                  case 89:
                        u(function () {
                            function e() {
                              return r(e.y, arguments, k)
                            }
                            return e.y = f(),
                              e.x = c,
                              e
                        }());
                        break;
                  case 90:
                        v = null;
                        break;
                  case 91:
                        v = h;
                        break;
                  case 93:
                        h = v[--x];
                        break;
                  case 0:
                        return v[--x];
                  default:
                        u((g << 16 >> 16) - 16)
                }
      }
      var n = this
            , t = n.Function
            , s = Object.keys || function (e) {
                var a = {}
                  , r = 0;
                for (var c in e)
                  a = c;
                return a.length = r,
                  a
            }
            , b = {}
            , k = {};
      return r
    }()
      ('gr$Daten Иb/s!l y͒yĹg,(lfi~ah`{mv,-n|jqewVxp{rvmmx,&effkx[!cs"l".Pq%widthl"@q&heightl"vr*getContextx$"2d[!cs#l#,*;?|u.|uc{uq$fontl#vr(fillTextx$$龘ฑภ경2<[#c}l#2q*shadowBlurl#1q-shadowOffsetXl#$$limeq+shadowColorl#vr#arcx88802[%c}l#vr&strokex[ c}l"v,)}eOmyoZB]mx[ cs!0s$l$Pb<k7l l!r&lengthb%^l$1+s$jls#i$1ek1s$gr#tack4)zgr#tac$! +0o![#cj?o ]!l$b%s"o ]!l"l$b*b^0d#>>>s!0s%yA0s"l"l!r&lengthb<k+l"^l"1+s"jls&l&z0l!$ +["cs\'(0l#i\'1ps9wxb&s() &{s)/s(gr&Stringr,fromCharCodes)0s*yWl ._b&s o!])l l Jb<k$.aj;l .Tb<k$.gj/l .^b<k&i"-4j!+& s+yPo!]+s!l!l Hd>&l!l Bd>&+l!l <d>&+l!l 6d>&+l!l &+ s,y=o!o!]/q"13o!l q"10o!],l 2d>& s.{s-yMo!o!]0q"13o!]*Ld<l 4d#>>>b|s!o!l q"10o!],l!& s/yIo!o!].q"13o!],o!]*Jd<l 6d#>>>b|&o!]+l &+ s0l-l!&l-l!i\'1z141z4b/@d<l"b|&+l-l(l!b^&+l-l&zl\'g,)gk}ejo{cm,)|yn~Lij~em["cl$b%@d<l&zl\'l $ +["cl$b%b|&+l-l%8d<@b|l!b^&+ q$sign ', [Object.defineProperty(mytest, "__esModule", {
            value: !0
      })])
    // var nonce = "102064772608"
    var signature = mytest.sign(uid);
    return {
      "code": 0,
      "signature": signature,
      "userAgent": navigator.userAgent
    }
}

// var args_str ='{"uid":"102064772608","tac":"aSk2YTVteTU2MGNzIWkjMTU4cyIwecqhZywmcW5mbWV8bXMgZywpZ2t9ZWpve39jbXMhZywmSWVibGl/bXMibCEsKX5vaWh/Z3l1Y21rInQgKMKALC5qanZ4fHZEZ3lnfWtuYmwiZCJpbmtmbCJ2LC5qanZ4fHZEZ3lnfWtuYm14bCEsKX5vaWh/Z3l1Y2dyJk9iamVjdG4gdnVxJXZhbHVldmZxKHdyaXRhYmxlWyNjfSkgJXtzI3QgLDRLSmFyen1ocmp4bEBFV0NPUURSQiwzTEtmc3t9d3NucUJ7aUFNV0JQQCw7RENqe31EU0tVQVd5VEtbQ1tYckhaXlJGWltbLDdIR25/eXhvd2lFU31QR1dPV1x2TF5CTiw1SklgfXt+aXVre21/UkFRTVVSeE5HLDNMS3Nuc2pwbH5uQntpQU1XQlBALDJNTHBnf2F9a0VucmpsflBRR0csNUpJYH17fml1a3ttf1RMVFZEVldNTSwxTk13ZnxgcmpGf219cWt+VEQsNEtKZXJ0fHRyaXBBak5WUEJUVUNDLDRLSnBvfGtzbXlvQWpOVlBCVFVDQ1srcyMsKVZ5bmBoYGZlfCwsb2xiY0N0fnZ6fGN6LDZJRH11f3V1aHNAaWVnfHZARUhaTU9ZWyNzJGwkKiVzJWwldSZrNHMmbCRsJm1zJ2wgbCdtayJ0IGoGbCMqJXMlbCV1Jms/cyZsI2wmbXMnbCAsKGxmaX5haGB7bWwnbWsidCBq77+7bCAsKGxmaX5haGB7bSolcyVsJXUma2xzJmwmdnIlbWF0Y2h4Z3ImUmVnRXhwJCpcJFthLXpdZGNfJCBuIlshY3ZrOn1sICwobGZpfmFoYHttbCZtLCZlZmthb1RtayJ0IGrvv45mIHpbIGNifDFkPCwlRHNjYWZnZCJpbiw4W3h0bX1uTHpORUdRTUtBZEdHXk5UWRxrZ2QiaW5iPGJ8MWQ8ZywmVGJvTHJ7bSwoAikhangtMm4mdnIkdGVzdHhnLCVAdHVne21uICwldnJma2JtWyFjYnw="}'
// console.log(get_signature(args_str))

module.exports = {
    get_signature
}



尝试获取代码获取完整tac并进行传递,但发现代码获取的tac与浏览器中的不同(原因可能是特殊字符的编码问题),所以只获取tac的前一小部分。
传递前用base64编码防止因特殊字符的存在产生各种问题。

总结一下两个未解决的问题
代码获取完整且编码正确的tac
去除签名算法中的环境监测使其可以在node环境运行并得到正确结果


再放一遍代码开源地址(求star)
https://github.com/skygongque/douyin_signature/

另外如果对你有帮助,免费评分吧

紫轩冰凌 发表于 2020-3-18 18:18

哎 抖音 刷起来没完

天空宫阙 发表于 2020-8-8 12:21

猫转身 发表于 2020-8-8 11:52
帮点star了    感觉node.js好强大,最近用的网易云破解就是论坛里用node.js配置的,可惜我现在 ...

谢谢了,nodejs只是一个JavaScript的运行时环境使得JavaScript可以脱离浏览器运行,因为反爬用的是JavaScript混淆和加密所以nodejs天生对反反爬天生有优势

zxcvbnm12 发表于 2020-3-18 17:46

虽然看不懂是干嘛用的,但是大佬牛皮

云烟成雨 发表于 2020-3-18 17:51

我都没明白这个是有什么用

桂花糕乀 发表于 2020-3-18 17:57

前排 支持

天空宫阙 发表于 2020-3-18 17:58

xf11075 发表于 2020-3-18 17:51
我都没明白这个是有什么用

有这个signature参数就可以很方便的做某音视频按用户的批量下载,还是无水印的

ghostu1 发表于 2020-3-18 18:07

楼主这个是破解的成品吗?能直接用吗?

52pojielt 发表于 2020-3-18 18:09

本帖最后由 52pojielt 于 2020-3-18 18:11 编辑

小手一抖 CB到收 已经Star 这个是可以在电脑上刷抖音吗 还是说自己做一个抖音 要放什么自己放

天空宫阙 发表于 2020-3-18 18:14

ghostu1 发表于 2020-3-18 18:07
楼主这个是破解的成品吗?能直接用吗?

环境搭建后可以直接用,不是破解,只是给了签名算法需要的环境。
想要直接用最上面的GitHub地址里有大佬部署好的可以直接用。

天空宫阙 发表于 2020-3-18 18:21

52pojielt 发表于 2020-3-18 18:09
小手一抖 CB到收 已经Star 这个是可以在电脑上刷抖音吗 还是说自己做一个抖音 要放什么自己放

有signature参数方便拿到指定用户主页的信息,主要做按用户的视频批量下载,爬虫用比较多
页: [1] 2 3 4 5 6 7 8 9 10
查看完整版本: nodejs 搭建某音web端_signature参数生成的服务(puppeteer+express)