赞
踩
先自我介绍一下,小编浙江大学毕业,去过华为、字节跳动等大厂,目前阿里P7
深知大多数程序员,想要提升技能,往往是自己摸索成长,但自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!
因此收集整理了一份《2024年最新大数据全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友。
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上大数据知识点,真正体系化!
由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新
如果你需要这些资料,可以添加V获取:vip204888 (备注大数据)
目录
#源镜像 FROM golang:1.13 #设置工作目录 WORKDIR $GOPATH/src RUN mkdir user-service COPY user-service $GOPATH/src/user-service #切换工作目录 WORKDIR $GOPATH/src/user-service RUN mkdir log #暴露端口 EXPOSE 9090 #最终运行docker的命令 ENTRYPOINT ["nohup","./user-service",">log/log.log", "&"]
#!/bin/bash
rm -rf user-service
go build .
docker build -t mic-user-service -f Dockerfile .
执行build.sh构建镜像
#!/bin/bash
docker stop mic_user_service
docker rm mic_user_service
docker run -p 9090:9090 --name mic_user_service -v /usr/local/docker/micservice/user-service/log:/go/src/user-service/log -d mic-user-service
启动容器 ./start.sh
user-server服务依赖mysql服务,请访问 docker搭建mysql
#源镜像 FROM golang:1.13 #设置工作目录 WORKDIR $GOPATH/src RUN mkdir user-edge-service COPY user-edge-service $GOPATH/src/user-edge-service COPY config.ini $GOPATH/src/user-edge-service #切换工作目录 WORKDIR $GOPATH/src/user-edge-service RUN mkdir log #暴露端口 EXPOSE 9091 #最终运行docker的命令 ENTRYPOINT ["nohup","./user-edge-service",">/dev/null", "&"]
#!/bin/bash
rm -rf user-edge-service
go build .
docker build -t mic-user-edge-service:latest
执行build.sh构建镜像
#!/bin/bash
docker stop mic_user_edge_service
docker rm mic_user_edge_service
docker run -p 9091:9091 --name mic_user_edge_service -v /usr/local/docker/micservice/user-edge-service/log:/go/src/user-edge-service/log -d mic-user-edge-service
启动容器 ./start.sh
上面的方式需要一个一个单独启动容器服务,我们可以是用docker-compose来管理容器
yum install docker-conpose
version: '3' networks: default: external: name: micservice-network services: mysql: image: mysql:5.7 ports: - 3306:3306 volumes: - /usr/local/docker/mysql/conf:/etc/mysql - /usr/local/docker/mysql/logs:/var/log/mysql - /usr/local/docker/mysql/data:/var/lib/mysql environment: - TZ="Asia/Shanghai" redis: image: redis:5.0.4 ports: - 6379:6379 volumes: - /usr/local/docker/redis/logs:/usr/local/redis/logs - /usr/local/docker/redis/redis.conf:/etc/redis_default.conf - /usr/local/docker/redis/data:/data environment: - TZ="Asia/Shanghai" mongo: image: mongo:latest ports: - 27017:27017 volumes: - /usr/local/docker/mongo/data:/data/db - /usr/local/docker/mongo/conf/mongodb.cnf:/etc/mongo.conf environment: - TZ="Asia/Shanghai" user-service: image: mic-user-service:latest ports: - 9090:9090 volumes: - /usr/local/docker/micservice/user-service/log:/go/src/user-service/log environment: - TZ="Asia/Shanghai" user-edge-service: image: mic-user-edge-service:latest ports: - 9091:9091 links: - user-service volumes: - /usr/local/docker/micservice/user-edge-service/log:/go/src/user-edge-service/log environment: - TZ="Asia/Shanghai"
#启动所有服务
docker-compose up -d
#启动某个
docker-compose up user-service -d
# 停止所有容器服务
docker-compose stop
Harbor的特性:
Harbor的构成:
Harbor 在架构上主要有 Proxy、Registry、Core services、Database(Harbor-db)、Log collector(Harbor-log)、Job services 六个组件。
1)Proxy: Harbor 的 Registry、 UI、Token 服务等组件,都处在nginx反向代理后边。该代理将来自浏览器、docker clients
的请求转发到后端不同的服务上。
2)Registry:负责储存Docker 镜像,并处理Docker push/pull命令。由于要对用户进行访问控制,即不同用户对Docker 镜像
有不同的读写权限,Registry 会指向一个Token 服务,强制用户的每次Docker pull/push 请求都要携带一个合法的Token,
Registry会通过公钥对Token进行解密验证。
3)Core services:Harbor的核心功能,主要提供以下3个服务:
4)Database (harbor -db) :为core services提供数据库服务,负责储存用户权限、审计日志、Docker 镜像分组信息等数据。
5)Job services:主要用于镜像复制,本地镜像可以被同步到远程Harbor实例上。
6)Log collector (harbor-log) :负责收集其他组件的日志到一个地方。
每台机器上都有一个网卡,有的甚至有两个网卡 , ETHD 10.1.1.10/8就表示一个网卡
docker启动以后, 会出现一个docker0,我们可以通过ifconfig来查看
交换机一旦创建以后, 就会创建一个叫namespace的东西,名字叫做network namespace. 全名叫做网络命名空间.也就是上图中蓝色方框VethX,不同的网络命名空间会形成相互隔离,一端固定在容器内容, 成为虚拟网卡, 另一端固定在本机。
只要多一个容器就会多一个veth。也就是说一端在容器里,另一端在本机里,作为连通的作用。 并且, 网络命名空间会将不同的网络隔离开来,各用个的。这样就实现了隔离,以及怎样与本机进行交互。这样,容器和容器之间就可以通讯了。 这解决的是容器和容器间进行通讯。 这是通过docker0网桥解决的。
kubernetes,简称K8s,是用8代替名字中间的8个字符“ubernete”而成的缩写。是一个开源的,用于管理云平台中多个主机上的容器化的应用,Kubernetes的目标是让部署容器化的应用简单并且高效(powerful),Kubernetes提供了应用部署,规划,更新,维护的一种机制。
安装
国内安装k8s途径
- 使用kubeadmin离线安装
- 使用阿里公有云平台k8s
- 通过yum官方仓库
- 二进制包形式安装,kubeasz
安装kubeadmin加载k8s镜像
# 以下命令在三台虚拟机执行 yz10 yz20 yz21 mkdir /usr/local/k8s-install **网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。** **需要这份系统化的资料的朋友,可以添加V获取:vip204888 (备注大数据)**  **一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!** 5bb6a353a464a.png) **安装** 国内安装k8s途径 > > * **使用kubeadmin离线安装** > * 使用阿里公有云平台k8s > * 通过yum官方仓库 > * 二进制包形式安装,kubeasz > > > 安装kubeadmin加载k8s镜像
mkdir /usr/local/k8s-install
网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
需要这份系统化的资料的朋友,可以添加V获取:vip204888 (备注大数据)
[外链图片转存中…(img-XLx1a1DS-1713354976499)]
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。