avatar
文章
88
标签
28
分类
6
文章
  • 文章列表
  • 全部分类
  • 所有标签
  • 随便看看
统计
  • 文章统计
  • 博客统计
导航
  • 友链订阅
  • 友情链接
  • 网站收藏
博客
  • 关于本站
  • 网站公告
  • 留言信箱
  • 博客更新
Eurkon大数据面试题解析
文章
  • 文章列表
  • 全部分类
  • 所有标签
  • 随便看看
统计
  • 文章统计
  • 博客统计
导航
  • 友链订阅
  • 友情链接
  • 网站收藏
博客
  • 关于本站
  • 网站公告
  • 留言信箱
  • 博客更新
搜索
cover
📝面试系列|大数据•Hadoop•Flume•Sqoop•Zookeeper•Kafka•Hive•HBase•MySQL•Spark

大数据面试题解析

发表于2021-03-25|更新于2021-03-25|总字数:60|阅读时长:1分钟|浏览量:|评论数:

Hadoop 面试题解析

Zookeeper 面试题解析

Flume 面试题解析

Kafka 面试题解析

Hive 面试题解析

HBase 面试题解析

Sqoop 面试题解析

MySQL 面试题解析

Spark 面试题解析

Elasticsearch 面试题解析

大数据面试题解析
https://blog.eurkon.com/post/7e24cf66.html
转载前请阅读本站 版权协议,文章著作权归 Eurkon 所有,转载请注明出处。
大数据HadoopFlumeSqoopZookeeperKafkaHiveHBaseMySQLSpark
cover of previous post
上一篇
Java 面试题解析(Java EE)
什么是 ORM?答:对象关系映射(Object-Relational Mapping,简称 ORM)是一种为了解决程序的面向对象模型与数据库的关系模型互不匹配问题的技术;简单的说,ORM 是通过使用描述对象和数据库之间映射的元数据(在 Java 中可以用 XML 或者是注解),将程序中的对象自动持久化到关系数据库中或者将关系数据库表中的行转换成 Java...
cover of next post
下一篇
Hadoop 面试题解析
Hadoop 基础集群的最主要瓶颈?磁盘 IO。 Hadoop 运行模式? 独立(本地)运行模式:无需任何守护进程,所有的程序都运行在同一个 JVM 上执行。在独立模式下调试 MR 程序非常高效方便。所以一般该模式主要是在学习或者开发阶段调试使用。 伪分布式模式:Hadoop 守护进程运行在本地机器上,模拟一个小规模的集群,换句话说,可以配置一台机器的 Hadoop 集群,伪分布式是完全分布式的一个特例。 完全分布式模式:Hadoop 守护进程运行在一个集群上。 注意:所谓分布式要启动守护进程,即:使用分布式 Hadoop 时,要先启动一些准备程序进程,然后才能使用比如...
相关推荐
cover
2021-03-05
HDFS Shell 命令
FS Shell 调用文件系统(FS)的 Shell 命令应使用 bin/hadoop fs <args> 的形式。 所有的 FS shell 命令使用 URI 路径作为参数。 URI 格式是 scheme://authority/path。对 HDFS 文件系统,scheme 是 hdfs,对本地文件系统,scheme 是 file。其中 scheme 和 authority 参数都是可选的,如果未加指定,就会使用配置中指定的默认 scheme。 一个 HDFS 文件或目录比如 /parent/child 可以表示成 hdfs://namenode:namenodeport/parent/child,或者更简单的 /parent/child(假设你配置文件中的默认值是 namenode:namenodeport)。 大多数 FS Shell 命令的行为和对应的 Unix Shell 命令类似,不同之处会在下面介绍各命令使用详情时指出。出错信息会输出到 stderr,其他信息输出到 stdout。 cat 使用方法: 1hadoop fs -cat...
cover
2021-03-29
Flume 面试题解析
Flume 使用场景?线上数据一般主要是落地(存储到磁盘)或者通过 socket 传输给另外一个系统,这种情况下,你很难推动线上应用或服务去修改接口,实现直接向 Kafka 里写数据,这时候你可能就需要 Flume 这样的系统帮你去做传输。 Flume 丢包问题?单机 upd 的 Flume source 的配置,100+M/s 数据量,10w qps Flume 就开始大量丢包,因此很多公司在搭建系统时,抛弃了 Flume,自己研发传输系统,但是往往会参考 Flume 的 Source-Channel-Sink 模式。 一些公司在 Flume 工作过程中,会对业务日志进行监控,例如 Flume agent 中有多少条日志,Flume 到 Kafka 后有多少条日志等等,如果数据丢失保持在 1% 左右是没有问题的,当数据丢失达到 5% 左右时就必须采取相应措施。 Flume 与 Kafka 的选取?采集层主要可以使用 Flume、Kafka 两种技术。 Flume:Flume 是管道流方式,提供了很多的默认实现,让用户通过参数部署,及扩展 API。 Kafka:Kafka...
cover
2021-04-13
Sqoop 面试题解析
Sqoop 参数Sqoop 导入数据到 HDFS 中的参数 123456789101112131415/opt/module/sqoop/bin/sqoop import \--connect jdbc 的 url 字符串\--username 账号\--password 密码\# HDFS 目标的目录--target-dir \# 导入的目标目录如果存在则删除那个目录--delete-target-dir \# 相当于 -m,并行导入时 MapTask 的个数--num-mappers \--fields-terminated-by \# 指定满足 sql 和条件的数据导入# --query:增加检索条件部分数据抽取# $CONDITIONS:数据分割条件的占位符--query "$2" 'and $CONDITIONS;' Sqoop 导入数据到 Hive 中的参数 123456789# 一步将表结构和数据都导入到 hive 中bin/sqoop import \--connect jdbc 的 url 字符串\--table...
cover
2021-03-27
Zookeeper 面试题解析
请简述 Zookeeper 的选举机制?假设有五台服务器组成的 Zookeeper 集群,它们的 id 从 1-5,同时它们都是最新启动的,也就是没有历史数据,在存放数据量这一点上,都是一样的。假设这些服务器依序启动,来看看会发生什么。 服务器 1 启动,此时只有它一台服务器启动了,它发出去的报没有任何响应,所以它的选举状态一直是 LOOKING 状态; 服务器 2 启动,它与最开始启动的服务器 1 进行通信,互相交换自己的选举结果,由于两者都没有历史数据,所以 id 值较大的服务器 2 胜出,但是由于没有达到超过半数以上的服务器都同意选举它(这个例子中的半数以上是 3),所以服务器 1、2 还是继续保持 LOOKING 状态; 服务器 3 启动,根据前面的理论分析,服务器 3 成为服务器 1、2、3 中的 Leader,而与上面不同的是,此时有三台服务器选举了它,所以它成为了这次选举的 Leader; 服务器 4 启动,根据前面的分析,理论上服务器 4 应该是服务器 1、2、3、4 中最大的,但是由于前面已经有半数以上的服务器选举了服务器 3,所以它成为...
cover
2021-01-14
MySQL 优化
优化三大方向 优化 MySQL 所在服务器内核(此优化一般由运维人员完成)。 对 MySQL 配置参数进行优化(my.cnf)此优化需要进行压力测试来进行参数调整。 对 SQL 语句以及表优化。 参数优化 MySQL 默认的最大连接数为 100,可以在 mysql 命令提示窗口使用以下命令查看 1mysql> SHOW variables LIKE 'max_connections'; 查看当前访问 MySQL 的线程 1mysql> SHOW processlist; 设置最大连接数 1mysql> SET globle max_connections = 5000; 最大可设置 16384,超过没用 查看当前被使用的 connections 1mysql> SHOW GLOBAL STATUS LIKE 'max_user_connections' 性能优化 使用查询缓存优化查询 使用 EXPLAIN 关键字检测查询 只要一行数据时使用 LIMIT 1 为搜索字段建立索引 在...
cover
2021-01-13
MySQL 常用命令行
连接 MySQL1mysql -h 主机地址 -u 用户名 -p 用户密码 连接到本机上的 MySQL首先打开 DOS 窗口,然后进入目录 mysql\bin ,再键入命令 mysql -u root -p 回车后提示你输密码。注意用户名前可以有空格也可以没有空格,但是密码前必须没有空格,否则让你重新输入密码。 如果刚安装好 MySQL,超级用户 root 是没有密码的。直接回车即可进入到 MySQL 中了,MySQL 的提示符是: mysql> 连接到远程主机上的 MySQL假设远程主机的 IP 为:110.110.110.110,用户名为 root,密码为 abcd123。则键入以下命令: 1mysql -h 110.110.110.110 -u root -p abcd123; 注:u 与 root 之间可以不用加空格,其它也一样。 退出 MySQL 命令。1exit 修改密码1mysqladmin -u 用户名 -p 旧密码 password 新密码 给 root 加个密码 ab12。 首先在 DOS 下进入目录 mysql\bin。然后键入以下命令...
评论
avatar
Eurkon
在这里我将记录学习过程中的笔记、分享一些经验与想法。希望能够帮助到您!
文章
88
标签
28
分类
6
目录
  1. 1. Hadoop 面试题解析
  2. 2. Zookeeper 面试题解析
  3. 3. Flume 面试题解析
  4. 4. Kafka 面试题解析
  5. 5. Hive 面试题解析
  6. 6. HBase 面试题解析
  7. 7. Sqoop 面试题解析
  8. 8. MySQL 面试题解析
  9. 9. Spark 面试题解析
  10. 10. Elasticsearch 面试题解析
最新文章
ECharts 帕累托图
ECharts 帕累托图2023-05-30
ECharts 子弹图
ECharts 子弹图2023-04-27
ECharts 径向条形图
ECharts 径向条形图2023-04-26
ECharts 渐变折线图
ECharts 渐变折线图2023-03-12
数仓设计与 ETL 规范
数仓设计与 ETL 规范2022-12-31
ECharts 生涯彩虹图
ECharts 生涯彩虹图2022-11-06
统计文章统计博客统计
导航申请友链魔改源码网站收藏随机文章
分类学习笔记魔改教程分享转载作品案例
关于网站公告博客更新给我留言联系博主
服务友链订阅RSS 订阅Atom 订阅BlogFinder
友链加载中...加载中...加载中...更多友链
协议评论协议版权协议
Copyright © 2021 - 2024 Eurkon.com All Rights Reserved.
框架 Hexo|主题 Butterfly
粤ICP备2022108639号
设置
最新评论
加载中...
分类
  • 🖥️作品案例23
  • 🌐分享转载3
  • 📚学习笔记24
  • 💬生活随笔1
  • 📝面试系列21
  • 🎨魔改教程16
标签
Git Hexo 算法 生活随笔 Sqoop Hadoop Markdown 数据仓库 MySQL Spark Hive 文档 HTML HBase R Linux PostgreSQL Butterfly Flume Zookeeper 大数据 Kafka Python JavaScript Elasticsearch ECharts 数据分析 Java
复制内容
引用评论
粘贴文本
在本站搜索
去百度搜索
复制图片
下载图片
分享链接
新窗口打开
随机文章全部分类所有标签
分享本页
留言信箱关于本站
搜索
数据加载中