weedfs的简易安装以及使用Java编写的简单上传代码

ProgramerFangL

weedfs是一个适用于需要存储大量小文件的一个分布式文件系统，全名为Seaweed-fs,是一个使用go语言开发的简单的高可用的系统。开创之初weedfs是源于一篇Facebook的论文实现，下面介绍在服务器中的安装部署步骤。
一、安装
1、首先安装配置golang开发环境
go的最新版本是1.9.1 可到https://www.golangtc.com/download下载go1.9.1.linux-amd64.tar.gz
2、上传并解压到指定目录tar -zxf go1.9.1.linux-amd64.tar.gz
3、配置环境变量vim /etc/profile# go evnexportGOROOT=/opt/goexportPATH=$GOROOT/bin:$PATHexportGOPATH=$GORROT/workspacesource /etc/profile
4、执行go get github.com/chrislusf/seaweedfs/go/weed 下载并编译weedfs（需要VPN）没有VPN可以直接下载并解压wget https://bintray.com/artifact/download/chrislusf/seaweedfs/weed_0.70beta_linux_amd64.tar.gztar zxvf weed_0.70beta_linux_amd64.tar.gz
二、服务启动
1、进入weed的解压目录启动
-dir表示数据的存储文件地址，-max表示volume的最大数量，-mserver是主节点的ip以及端口，-port表示该volume的端口，-ip为启动volume的ip，publicurl表示外部访问存储数据的链接地址，在Java代码中有体现。
./weed volume-dir="/opt/weed_0.7/vol/" -max=5 -mserver="x.x.x.x:9333" -port=9081 -ip="x.x.x.x"-publicUrl="x.x.x.x:9081"&
-mdir表示主节点数据的存储路径，-defaultReplication表示该集群所采用的存储模式，weedfs提供了多种副本策略，如下：
000 no replication, just one copy
001 replicate once on the same rack
010 replicate once on a different rack in the same data center
100 replicate once on a different data center
200 replicate twice on two other different data center
110 replicate once on a different rack, and once on a different data center

./weed master-mdir="/opt/weed_0.7/mdata" -defaultReplication="200"-ip="x.x.x.x" -port=9333 &  #启动master，设置集群模式
三、Java代码实现简单上传功能因为只是一个简单的测试代码，所以在此只贴出一个主方法实现功能。weedfs没有官方的api接口，只在git上找到了两个现成的JavaClient，其底层也是使用了http的请求来实现文件上传的功能。
    public static void main(String[] args) {
           CloseableHttpClient httpClient1 = null;
           CloseableHttpResponse response1 = null;
            try {
            httpClient1 = HttpClients.createDefault();           //设置http请求的路径
            HttpPost httpPost = new HttpPost("http://10.2.45.200:9333/submit");
            httpPost.setHeader(new BasicHeader("Accept-Language", "zh-cn"));            // 把文件转换成流对象FileBody
            File file = new File("D:\\SAP用户Top10.txt");
            FileBody bin = new FileBody(file);
            HttpEntity reqEntity = MultipartEntityBuilder.create()
                            .setCharset(Charset.forName("UTF-8"))
//                         .addPart("file", bin)
                           .setMode(HttpMultipartMode.BROWSER_COMPATIBLE)
                           .addBinaryBody(URLEncoder.encode("SAP用户Top10.txt"), file)
                           .build();
            httpPost.setEntity(reqEntity);            // 发起请求 并返回请求的响应
            System.out.println(httpPost.toString());
            response1 = httpClient1.execute(httpPost);
            ObjectMapper mapper = new ObjectMapper();
            WeedfsFile weedfile = mapper.readValue(response1.getEntity().getContent(), WeedfsFile.class);
            System.out.println(weedfile.getFileName());
            System.out.println("The response value of token:" + response1.getFirstHeader("token"));            // 获取响应对象
            System.out.println(weedfile.toString());
        }catch (Exception e){
            e.printStackTrace();
        }finally {
            try {
                if(response1 != null){
                    response1.close();
                }
            } catch (IOException e) {
                e.printStackTrace();
            }
            try {
                if(httpClient1 != null){
                    httpClient1.close();
                }
            } catch (IOException e) {
                e.printStackTrace();
            }
        }
    }
由于集群没有搭在本地的虚拟机上，发布帖子时链接不到集群地址，所以暂时没有运行代码的截图，后期会尽快补充。

ProgramerFangL

求热心人的免费评分

ProgramerFangL

what？难道都没有这个需求吗？？？

梦到边缘

WeedfsFile这个类没有,需要在maven中引入什么呢?

ProgramerFangL

梦到边缘 发表于 2019-2-22 11:36
WeedfsFile这个类没有,需要在maven中引入什么呢?

这是一个实体类，就是entity，里边定义了文件的一些信息