Posted on | Edited on | In

tcp特点

  1. 使用tcp双方的链接分配必要的内核资源，以管理连接的状态和连接上的数据的传输。全双工，即双方的数据读写可以通过一个连接进行。完成数据交换后，需要断开连接以释放系统资源。因为是一对一，所以基于广播和多播的协议不能使用tcp程序。tcp模块发送数据时，涉及到发送缓冲区可能被封装成一个或者多个tcp报文段发出。由此可见，tcp模块发送出的tcp报文段的个数和应用程序执行写的操作次数之间没有固定的数量的关系。
  2. 当接收端收到一个或者多个tcp报文段后，tcp模块将他们携带的应用的程序数据按照tcp报文段的序号依次放入到tcp接收缓冲区中。并通知应用程序去读取数据，接收端应用程序可以一次性将tcp接受缓冲区的数据全部取出，也可以分多次读取。这个取决于用户指定的应用程序缓冲区的大小。由此可见，应用程序执行的读操作次数和tcp模块接收到tcp报文段个数之间也没有固定的数量关系。
  3. 字节流的概念：发送端执行的写操作次数和接收端执行的读操作次数之间没有任何的数量关系，这就是字节流的概念。应用程序对数据的发送和接收是没有唯一边界限制的。而udp发送端应用程序每执行一次写，udp模块就将其封装成一个udp数据报并发送，接收端必须及时接收每个udp数据报进行读操作（recvfrom），否则就会丢包。此外，如果用户没有指定足够的应用程序缓冲区来读取udp数据，则udp数据将被截断。
  4. 一些机制
    • 定时器
    • 未收到回应后重发（定时器）
    • RWND:receiver window：接收通告窗口
    • tcp对ip数据报进行重排，整理，再交付给上层

tcp头部结构

Read more »

Posted on | Edited on | In

场景

数据同步只能通过php脚本拉取三方接口来执行。比如我需要每天拉取从jd商城下单的数据到mysql，jd通过已知接口告知我共多少页多少条数据。大概每天60w条，但是问题是jd接口请求频次受限。而用php请求还有个问题就是脚本可能超时或者由于其他原因异常退出。这样会导致数据插入失败，甚至是插入重复。

Read more »

Posted on | Edited on | In
环境准备机器1 udev的mac及ip地址
1
2
3
4
5
6
7
8
9
root@udev:/home/tb# ifconfig
enp0s3    Link encap:Ethernet  HWaddr 08:00:27:63:49:66  
          inet addr:10.70.30.73  Bcast:10.70.31.255  Mask:255.255.254.0
          inet6 addr: fe80::a00:27ff:fe63:4966/64 Scope:Link
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          RX packets:1992020 errors:0 dropped:0 overruns:0 frame:0
          TX packets:569243 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000 
          RX bytes:235878919 (235.8 MB)  TX bytes:149889975 (149.8 MB)
Read more »

Posted on | Edited on | In

翻译自

欢迎及介绍

  1. cdh全称是cloudera open source distribution including apache hadoop的全称。
  2. hue登录用户名：cloudera 密码：cloudera
  3. 怎么用cdh
    • 如何进行简单的数据挖掘和分析
    • 让你老板给你涨工资~
    • 某些点会用到cloudera manager，可能）导致有些功能无法正常运行。有些部件也会用到商业版本的许可才能正常使用。
  4. 避免以上问题，
    1. 可以用express 版本（最少需要8G内存和2核心cpu）
    2. 用企业版的试用版，试用版有60天的体验期。（最少需要10G内存和2核心cpu）

入门 提取查询关系数据

之后的教程中，我们将通过呈现一个关于DataCo公司的案例。我们的任务就是帮助这公司深入了解并解决一些问题。

  • 剧情1

    1
    2
    王老板：吐沫星子漫天飞的谈谈大数据。。
    小明：hadoop吧那就。
    Read more »

Posted on | Edited on | In

简介

  1. 将物理设备和app用docker engine隔离

  2. 后台进程dockerd+rest api server+cli接口（docker）（cs架构）
    3.docker version

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
     client:
     Version:           18.09.6
     API version:       1.39
     Go version:        go1.10.8
     Git commit:        481bc77
     Built:             Sat May  4 02:35:27 2019
     OS/Arch:           linux/amd64
     Experimental:      false
    Server: Docker Engine - Community
     Engine:
      Version:          18.09.6
      API version:      1.39 (minimum version 1.12)
      Go version:       go1.10.8
      Git commit:       481bc77
      Built:            Sat May  4 01:59:36 2019
      OS/Arch:          linux/amd64
      Experimental:     false

  3. containers + images + registry

  4. 底层技术支持
    Read more »

Posted on | Edited on | In

简单介绍

Posted on | Edited on | In

学名（Distributed TracingSystem 分布式追踪系统）

支持的客户端语言情况

奉上谷歌论文Dapper

新美大之CAT（开源）

大厂子自己造的轮子

安装运行

  1. 代码执行

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    21
    22
    23
    24
    25
    26
    27
    28
    root@es_002:/home/tb/tbdown/zipkin# ls
    quickstart.sh  zipkin-server-2.11.7-exec.jar
    root@es_002:/home/tb/tbdown/zipkin# java -jar zipkin-server-2.11.7-exec.jar 
                                        ********
                                      **        **
                                     *            *
                                    **            **
                                    **            **
                                     **          **
                                      **        **
                                        ********
                                          ****
                                          ****
            ****                          ****
         ******                           ****                                 ***
      ****************************************************************************
        *******                           ****                                 ***
            ****                          ****
                                           **
                                           **
                 *****      **     *****     ** **       **     **   **
                   **       **     **  *     ***         **     **** **
                  **        **     *****     ****        **     **  ***
                 ******     **     **        **  **      **     **   **
    :: Powered by Spring Boot ::
    Read more »

Posted on | Edited on | In
  1. 容器技术与docker
  2. docker能做什么
    • 简化配置（所有打包到容器里）
    • 提升开发效率（环境相同，统一部署）
    • 隔离应用

  3. 容器应用代表

    Read more »