📝面试系列|大数据•Hadoop•Flume•Sqoop•Zookeeper•Kafka•Hive•HBase•MySQL•Spark

大数据面试题解析

发表于2021-03-25|更新于2021-03-25|字数总计:60|阅读时长:1分钟|阅读量:|评论数:

Hadoop 面试题解析

Zookeeper 面试题解析

Flume 面试题解析

Kafka 面试题解析

Hive 面试题解析

HBase 面试题解析

Sqoop 面试题解析

MySQL 面试题解析

Spark 面试题解析

Elasticsearch 面试题解析

大数据面试题解析

https://blog.eurkon.com/post/7e24cf66.html

转载前请阅读本站版权协议，文章著作权归 Eurkon 所有，转载请注明出处。

大数据 Hadoop Flume Sqoop Zookeeper Kafka Hive HBase MySQL Spark

打赏

微信
支付宝

相关推荐

HDFS Shell 命令

FS Shell 调用文件系统（FS）的 Shell 命令应使用 bin/hadoop fs <args> 的形式。所有的 FS shell 命令使用 URI 路径作为参数。 URI 格式是 scheme://authority/path。对 HDFS 文件系统，scheme 是 hdfs，对本地文件系统，scheme 是 file。其中 scheme 和 authority 参数都是可选的，如果未加指定，就会使用配置中指定的默认 scheme。一个 HDFS 文件或目录比如 /parent/child 可以表示成 hdfs://namenode:namenodeport/parent/child，或者更简单的 /parent/child（假设你配置文件中的默认值是 namenode:namenodeport）。大多数 FS Shell 命令的行为和对应的 Unix Shell 命令类似，不同之处会在下面介绍各命令使用详情时指出。出错信息会输出到 stderr，其他信息输出到 stdout。 cat 使用方法： 1hadoop fs -cat URI [U ...

Flume 面试题解析

Flume 使用场景？线上数据一般主要是落地（存储到磁盘）或者通过 socket 传输给另外一个系统，这种情况下，你很难推动线上应用或服务去修改接口，实现直接向 Kafka 里写数据，这时候你可能就需要 Flume 这样的系统帮你去做传输。 Flume 丢包问题？单机 upd 的 Flume source 的配置，100+M/s 数据量，10w qps Flume 就开始大量丢包，因此很多公司在搭建系统时，抛弃了 Flume，自己研发传输系统，但是往往会参考 Flume 的 Source-Channel-Sink 模式。一些公司在 Flume 工作过程中，会对业务日志进行监控，例如 Flume agent 中有多少条日志，Flume 到 Kafka 后有多少条日志等等，如果数据丢失保持在 1% 左右是没有问题的，当数据丢失达到 5% 左右时就必须采取相应措施。 Flume 与 Kafka 的选取？采集层主要可以使用 Flume、Kafka 两种技术。 Flume：Flume 是管道流方式，提供了很多的默认实现，让用户通过参数部署，及扩展 API。 Kafka：Kafka 是一个可持 ...

Sqoop 面试题解析

Sqoop 参数Sqoop 导入数据到 HDFS 中的参数 123456789101112131415/opt/module/sqoop/bin/sqoop import \--connect jdbc 的 url 字符串\--username 账号\--password 密码\# HDFS 目标的目录--target-dir \# 导入的目标目录如果存在则删除那个目录--delete-target-dir \# 相当于 -m，并行导入时 MapTask 的个数--num-mappers \--fields-terminated-by \# 指定满足 sql 和条件的数据导入# --query：增加检索条件部分数据抽取# $CONDITIONS：数据分割条件的占位符--query "$2" 'and $CONDITIONS;' Sqoop 导入数据到 Hive 中的参数 123456789# 一步将表结构和数据都导入到 hive 中bin/sqoop import \--connect jdbc 的 url 字符串\--table mysql ...

Zookeeper 面试题解析

请简述 Zookeeper 的选举机制？假设有五台服务器组成的 Zookeeper 集群，它们的 id 从 1-5，同时它们都是最新启动的，也就是没有历史数据，在存放数据量这一点上，都是一样的。假设这些服务器依序启动，来看看会发生什么。服务器 1 启动，此时只有它一台服务器启动了，它发出去的报没有任何响应，所以它的选举状态一直是 LOOKING 状态；服务器 2 启动，它与最开始启动的服务器 1 进行通信，互相交换自己的选举结果，由于两者都没有历史数据，所以 id 值较大的服务器 2 胜出，但是由于没有达到超过半数以上的服务器都同意选举它(这个例子中的半数以上是 3)，所以服务器 1、2 还是继续保持 LOOKING 状态；服务器 3 启动，根据前面的理论分析，服务器 3 成为服务器 1、2、3 中的 Leader，而与上面不同的是，此时有三台服务器选举了它，所以它成为了这次选举的 Leader；服务器 4 启动，根据前面的分析，理论上服务器 4 应该是服务器 1、2、3、4 中最大的，但是由于前面已经有半数以上的服务器选举了服务器 3，所以它成为 Follower；服务 ...

优化三大方向优化 MySQL 所在服务器内核（此优化一般由运维人员完成）。对 MySQL 配置参数进行优化（my.cnf）此优化需要进行压力测试来进行参数调整。对 SQL 语句以及表优化。参数优化 MySQL 默认的最大连接数为 100，可以在 mysql 命令提示窗口使用以下命令查看 1mysql> SHOW variables LIKE 'max_connections'; 查看当前访问 MySQL 的线程 1mysql> SHOW processlist; 设置最大连接数 1mysql> SET globle max_connections = 5000; 最大可设置 16384，超过没用查看当前被使用的 connections 1mysql> SHOW GLOBAL STATUS LIKE 'max_user_connections' 性能优化使用查询缓存优化查询使用 EXPLAIN 关键字检测查询只要一行数据时使用 LIMIT 1 为搜索字段建立索引在 JOIN 表 ...

MySQL 常用命令行

连接 MySQL1mysql -h 主机地址 -u 用户名 -p 用户密码连接到本机上的 MySQL首先打开 DOS 窗口，然后进入目录 mysql\bin ，再键入命令 mysql -u root -p 回车后提示你输密码。注意用户名前可以有空格也可以没有空格，但是密码前必须没有空格，否则让你重新输入密码。如果刚安装好 MySQL，超级用户 root 是没有密码的。直接回车即可进入到 MySQL 中了，MySQL 的提示符是： mysql> 连接到远程主机上的 MySQL假设远程主机的 IP 为：110.110.110.110，用户名为 root，密码为 abcd123。则键入以下命令： 1mysql -h 110.110.110.110 -u root -p abcd123; 注：u 与 root 之间可以不用加空格，其它也一样。退出 MySQL 命令。1exit 修改密码1mysqladmin -u 用户名 -p 旧密码 password 新密码给 root 加个密码 ab12。首先在 DOS 下进入目录 mysql\bin。然后键入以下命令 mysq ...

评论

数据库加载中