CDH和CM定制安装解决方案

网络生活翻译文章,转载请注明出处,原文:https://www.cloudera.com/documentation/enterprise/5/latest/topics/cm_ig_custom_installation.html


Cloudera有两种类型的软件存储库,您可以使用它们来安装诸如Cloudera Manager或CDH-parcel存储库和软件包存储库之类的产品。在大多数情况下,这些存储库是有效的解决方案,但有时需要自定义安装解决方案。使用Cloudera的软件存储库需要通过Internet进行客户端访问。典型安装使用最新的可用软件。而在某些情况下,这些行为可能并不可取,例如:

  • 您需要安装较旧的产品版本。例如,在CDH群集中,所有主机必须运行相同的CDH版本。完成初始安装后,您可能希望添加主机。这可能是为了增加群集的大小以处理更大的任务或替换旧的硬件。
  • 要安装Cloudera产品的主机未连接到Internet,因此无法访问Cloudera存储库。(对于parcel安装,只有Cloudera Manager Server需要Internet访问,但对于软件包安装,所有集群主机都需要访问Cloudera存储库)。大多数组织将其网络的一部分与外部访问分开。隔离网段可提高安全性,但可能会增加安装过程的复杂性。

在这两种情况下,使用内部存储库都可以满足组织的需求,无论是在安装特定版本的Cloudera软件还是在没有Internet访问权限的主机上安装Cloudera软件。

继续阅读:

parcels介绍

parcels是一种打包方式,用于Cloudera Manager内部升级软件。您可以从Cloudera Manager内下载、分发和激活新的软件版本。Cloudera Manager将包裹下载到本地目录。一旦包被下载到Cloudera Manager Server主机,就不再需要Internet连接来部署包。有关包裹的详细信息,请参阅包裹

如果Cloudera Manager Server无法访问Internet,则可以获取所需的parcel文件并将其放入parcel存储库。有关更多信息,请参阅Using an Internal Package Repository使用内部的库

了解包管理

在深入了解如何在您的环境中配置自定义程序包解决方案之前,获取有关以下内容的更多信息会很有用:

包管理工具

包(rpm或 deb文件)通过满足包依赖性来确保安装成功。安装特定软件包时,将同时安装所有其他必要的软件包,也就是我们所说的依赖包。例如,hadoop-0.20-hive依赖于 hadoop-0.20.。

包管理工具,如 yum(RHEL或centos), zypper的 (SLES),和 apt-get的(Ubuntu)都是包安装管理工具。在RHEL兼容系统上,您可以运行命令yum install hadoop-0.20-hive。yum 实用程序通知您Hive包需要 Hadoop的0.20 并提供为您安装它。 zypper的 和 apt-get也提供类似的功能。

包存储库

包管理工具依赖包存储库来安装软件并解决任何依赖性要求。有关创建内部存储库的信息,请参阅Using an Internal Package Repository使用内部的库

存储库配置文件

  • RHEL兼容(yum): /etc/yum.repos.d
  • SLES(zypper): /etc/zypp/zypper.conf
  • Ubuntu(apt-ge的): /etc/apt/apt.conf(使用指定其他存储库 .LIST 中的文件 /etc/apt/sources.list.d/ 目录。)

有关包存储库的信息存储在配置文件中,配置文件的位置根据包管理工具而有所不同。

例如,在典型的CentOS系统上,您可能会发现:

ls -l /etc/yum.repos.d/
total 36
-rw-r--r--. 1 root root 1664 Dec 9 2015 CentOS-Base.repo
-rw-r--r--. 1 root root 1309 Dec 9 2015 CentOS-CR.repo
-rw-r--r--. 1 root root 649 Dec 9 2015 CentOS-Debuginfo.repo
-rw-r--r--. 1 root root 290 Dec 9 2015 CentOS-fasttrack.repo
-rw-r--r--. 1 root root 630 Dec 9 2015 CentOS-Media.repo
-rw-r--r--. 1 root root 1331 Dec 9 2015 CentOS-Sources.repo
-rw-r--r--. 1 root root 1952 Dec 9 2015 CentOS-Vault.repo
-rw-r--r--. 1 root root 951 Jun 24 2017 epel.repo
-rw-r--r--. 1 root root 1050 Jun 24 2017 epel-testing.repo

.repo文件包含指向一个或多个存储库的指针。zypper 和 apt-get的配置文件中也有类似的指针。下面以CentOS-Base.repo为例,可以看到定义了两个存储库:一个名为base 和一个名称为updates。该镜像列表参数指向一个网站,该网站包含可以下载此存储库的位置列表。

[[base]
name=CentOS-$releasever - Base
mirrorlist=http://mirrorlist.centos.org/?release=$releasever&arch=$basearch&repo=os&infra=$infra
baseurl=http://mirror.centos.org/centos/$releasever/os/$basearch/
gpgcheck=1
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-7
released updates
[updates]
name=CentOS-$releasever - Updates
mirrorlist=http://mirrorlist.centos.org/?release=$releasever&arch=$basearch&repo=updates&infra=$infra
baseurl=http://mirror.centos.org/centos/$releasever/updates/$basearch/
gpgcheck=1
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-7

列出存储库

您可以通过运行以下命令之一列出已启用的存储库:

RHEL compatible: yum repolist
SLES: zypper repos
Ubuntu: apt-get 没有命令来显示类似的资源,但是你可以使用/etc/apt/sources.list 和 /etc/apt/sources.list.d/里的内容.

用 yum repolist列出库的实例,系统为CentOS 7:

repo id               repo name                                           status
base/7/x86_64 CentOS-7 - Base 9,591
epel/x86_64 Extra Packages for Enterprise Linux 7 - x86_64 12,382
extras/7/x86_64 CentOS-7 - Extras 392
updates/7/x86_64 CentOS-7 - Updates 1,962
repolist: 24,327


发表评论

电子邮件地址不会被公开。 必填项已用*标注