自制的一个数据可视化哔哩哔哩排行榜的小网页端demo
# 自制数据可视化哔哩哔哩的小作业。## 因为我是学习计算器专业的，所以有些时候就会需要提交一些作业，但是课堂上这么多种课程，每一个课程都需要提交一种作业，很麻烦，
## 我就想着把多个课程的期末设计融合到一个作业里去。因为上学期，我们有web课和数据可视化的作业，（web学的是SSM（Spring+SpringMVC+MyBatis很老的一种框架）（数据可视化学的是py-chart）老师说可以用别的技术只要符合要求就行。
# 那。。。。。，我就想了用E-chart+php+mysql，写一个网页出来好了。
# 说干就干：
## 1. 首先我需要拿到哔哩哔哩的数据，我看了看就拿排行榜的数据把。因为就是一些简单的爬虫+存入数据库这里就不多赘述了。py文件放在云盘里了。
## 2.然后就直接用我仅有的一点php知识和bootstrap知识，对网页做了个大概布局和调试。
## 3.然后在给他套上一曾thinkphp的皮做一个登录页面，over。
先使用爬虫爬取数据，爬取数据时用到BytesIO和gzip进行解码和读取数据
将数据存入数据库，使用pymysql
使用cron和crontab做守护进程，1分钟运行一次爬虫文件
使用phpmyadmin对数据进行管理
使用Thinkphp做登录和注册页面
使用usersever页面进行连接验证
使用php+bootstrap做主页
使用e-chart可视化处理
每个图表为一个页面，最后使用include组合成一个主页
过程的难点
1.爬取数据时因为访问量太大，导致哔哩哔哩网站对我ip封禁，一直找不到原因。
2.在存入服务端mysql时，服务端的sql的版本太新，我的php版本跟不上，导致在对mysql登录时密码设置的地方出现问题。最合去修改了一个mysql的配置文件，重启就好了。
3.在做守护进程的时候明明设置了却无法运行，最后发现是因为Centos7的命令和CentOS6的命令不一样导致的
4.在使用phpadmin对数据库管理的时候对新建的用户不能给予其全部的权限，只能将一个库的权限给他。
5.在使用echart做可视化的时候在画箱线图时，总是报错没有函数最后查到时少了dataTool.min.js这个文件，其他的图不用只有画箱线图时需要用到。
本人还是小白比较垃圾。还请大佬多多指教。
注意爬取的时候容易，被哔哩哔哩封禁，不能老是爬取，要个好久，才能继续爬取 Finn! 发表于 2021-4-18 13:23
注意爬取的时候容易，被哔哩哔哩封禁，不能老是爬取，要个好久，才能继续爬取
可以加个随机代{过}{滤}理{:301_997:}
页:
[1]