注册
环信即时通讯云

环信即时通讯云

单聊、群聊、聊天室...
环信开发文档

环信开发文档

Demo体验

Demo体验

场景Demo,开箱即用
RTE开发者社区

RTE开发者社区

汇聚音视频领域技术干货,分享行业资讯
技术讨论区

技术讨论区

技术交流、答疑
资源下载

资源下载

收集了海量宝藏开发资源
iOS Library

iOS Library

不需要辛辛苦苦的去找轮子, 这里都有
Android Library

Android Library

不需要辛辛苦苦的去找轮子, 这里都有

JS堆栈内存的运行机制也需时常回顾咀嚼

在js引擎中对变量的存储主要有两个位置,堆内存和栈内存。栈内存主要用于存储各种基本类型的变量,包括Boolean、Number、String、Undefined、Null, 以及对象变量的指针(地址值)。栈内存中的变量一般都是已知大小或者有范围上限的,算作...
继续阅读 »



在js引擎中对变量的存储主要有两个位置,堆内存和栈内存。栈内存主要用于存储各种基本类型的变量,包括Boolean、Number、String、Undefined、Null,


以及对象变量的指针(地址值)。栈内存中的变量一般都是已知大小或者有范围上限的,算作一种简单存储。而堆内存主要负责像对象Object这种变量类型的存储,对于大小这方面,一般都是未知的。

栈内存 ECStack


栈内存ECStack(Execution Context Stack)(作用域)




栈内存ECStack(Execution Context Stack)(作用域)



JS之所以能够在浏览器中运行,是因为浏览器给JS提供了执行的环境栈内存





浏览器会在计算机内存中分配一块内存,专门用来供代码执行=》栈内存ECStack(Execution Context Stack)执行环境栈,每打开一个网页都会生成一个全新的ECS


ECS的作用




  • 提供一个供JS代码自上而下执行的环境(代码都在栈中执行)
  • 由于基本数据类型值比较简单,他们都是直接在栈内存中开辟一个位置,把值直接存储进去的,当栈内存被销毁,存储的那些基本值也都跟着销毁



堆内存


堆内存:引用值对应的空间,堆内存是区别于栈区、全局数据区和代码区的另一个内存区域。堆允许程序在运行时动态地申请某个大小的内存空间。


存储引用类型值(对象:键值对, 函数:代码字符串),当内存释放销毁,那么这个引用值彻底没了
堆内存释放


当堆内存没有被任何得变量或者其他东西所占用,浏览器会在空闲的时候,自主进行内存回收,把所有不被占用得内存销毁掉


谷歌浏览器(webkit),每隔一定时间查找对象有没有被占用
引用计数器:当对象引用为0时释放它

收起阅读 »

React-Native热更新 - 3分钟教你实现

此文使用当前最新版本的`RN`与`Code-Push`进行演示,其中的参数不会过多进行详细解释,更多参数解释可参考其它文章,这里只保证APP能正常进行热更新操作,方便快速入门,跟着大猪一起来快活吧。操作指南以下操作在Mac系统上完成的,毕竟 大猪 工作多年之后...
继续阅读 »

此文使用当前最新版本的`RN`与`Code-Push`进行演示,其中的参数不会过多进行详细解释,更多参数解释可参考其它文章,这里只保证APP能正常进行热更新操作,方便快速入门,跟着大猪一起来快活吧。

操作指南

以下操作在Mac系统上完成的,毕竟 大猪 工作多年之后终于买得起一个Mac了。

1. 创建`React-Native`项目

```
react-native init dounineApp
`
``

2. 安装`code-push-cli`

```
npm install -g code-push-cli
`
``

3. 注册`code-push`帐号

```
code-push register
Please login to Mobile Center in the browser window we've just opened.
Enter your token from the browser:
#会弹出一个浏览器,让你注册,可以使用github帐号对其进行授权,授权成功会给一串Token,点击复制,在控制进行粘贴回车(或者使用code-push login命令)。
`
``
```
Enter your token from the browser: b0c9ba1f91dd232xxxxxxxxxxxxxxxxx
#成功提示如下方
Successfully logged-in. Your session file was written to /Users/huanghuanlai/.code-push.config. You can run the code-push logout command at any time to delete this file and terminate your session.
`
``
![](http://upload-images.jianshu.io/upload_images/9028759-7736182c03cea82a.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)

4. 在`code-push`添加一个ios的app

```
code-push app add dounineApp-ios ios react-native
#成功提示如下方
Successfully added the "dounineApp-ios" app, along with the following default deployments:
┌────────────┬──────────────────────────────────────────────────────────────────┐
│ Name │ Deployment Key │
├────────────┼──────────────────────────────────────────────────────────────────┤
│ Production │ yMAPMAjXpfXoTfxCd0Su9c4-U4lU6dec4087-57cf-4c9d-b0dc-ad38ce431e1d │
├────────────┼──────────────────────────────────────────────────────────────────┤
│ Staging │ IjC3_iRGEZE8-9ikmBZ4ITJTz9wn6dec4087-57cf-4c9d-b0dc-ad38ce431e1d │
└────────────┴──────────────────────────────────────────────────────────────────┘
`
``

5. 继续在`code-push`添加一个android的app

```
code-push app add dounineApp-android android react-native
#成功提示如下方
Successfully added the "dounineApp-android" app, along with the following default deployments:
┌────────────┬──────────────────────────────────────────────────────────────────┐
│ Name │ Deployment Key │
├────────────┼──────────────────────────────────────────────────────────────────┤
│ Production │ PZVCGLlVW-0FtdoCF-3ZDWLcX58L6dec4087-57cf-4c9d-b0dc-ad38ce431e1d │
├────────────┼──────────────────────────────────────────────────────────────────┤
│ Staging │ T0NshYi9X8nRkIe_cIRZGbAut90a6dec4087-57cf-4c9d-b0dc-ad38ce431e1d │
└────────────┴──────────────────────────────────────────────────────────────────┘
`
``

6. 在项目根目录添加`react-native-code-push`

```
npm install react-native-code-push --save
#或者
yarn add react-native-code-push
`
``

7. link react-native-code-push

```
react-native link
Scanning folders for symlinks in /Users/huanghuanlai/dounine/oschina/dounineApp/node_modules (8ms)
? What is your CodePush deployment key for Android (hit to ignore) T0NshYi9X8nRkIe_cIRZGbAut90a6dec4087-57cf-4c9d-b0dc-ad38ce431e1d
#将刚才添加的Android App的Deployment Key复制粘贴到这里,复制名为Staging测试Deployment Key。
rnpm-install info Linking react-native-code-push android dependency
rnpm-install info Android module react-native-code-push has been successfully linked
rnpm-install info Linking react-native-code-push ios dependency
rnpm-install WARN ERRGROUP Group 'Frameworks' does not exist in your Xcode project. We have created it automatically for you.
rnpm-install info iOS module react-native-code-push has been successfully linked
Running ios postlink script
? What is your CodePush deployment key for iOS (hit to ignore) IjC3_iRGEZE8-9ikmBZ4ITJTz9wn6dec4087-57cf-4c9d-b0dc-ad38ce431e1d
#继续复制Ios的Deployment Key
Running android postlink script
`
``

8. 在`react-native`的`App.js`文件添加自动更新代码

```
import codePush from "react-native-code-push";
const codePushOptions = { checkFrequency: codePush.CheckFrequency.MANUAL };
export default class App extends Component<{}> {
componentDidMount(){
codePush.sync({
updateDialog: true,
installMode: codePush.InstallMode.IMMEDIATE,
mandatoryInstallMode:codePush.InstallMode.IMMEDIATE,
//deploymentKey为刚才生成的,打包哪个平台的App就使用哪个Key,这里用IOS的打包测试
deploymentKey: 'IjC3_iRGEZE8-9ikmBZ4ITJTz9wn6dec4087-57cf-4c9d-b0dc-ad38ce431e1d',
});
}
...
`
``

9. 运行项目在ios模拟器上

```
react-native run-ios
`
``

如图下所显

1:开启debug调试

2:`CodePush`已经成功运行

目前App已经是最新版本

![](http://upload-images.jianshu.io/upload_images/9028759-41607a87f412b06a.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)

10. 发布一个ios新版本

```
code-push release-react dounineApp-ios ios
`
``
发布成功如图下
```
Detecting ios app version:
Using the target binary version value "1.0" from "ios/dounineApp/Info.plist".
Running "react-native bundle" command:
node node_modules/react-native/local-cli/cli.js bundle --assets-dest /var/folders/m_/xcdff0xd62j4l2xbn_nfz00w0000gn/T/CodePush --bundle-output /var/folders/m_/xcdff0xd62j4l2xbn_nfz00w0000gn/T/CodePush/main.jsbundle --dev false --entry-file index.js --platform ios
Scanning folders for symlinks in /Users/huanghuanlai/dounine/oschina/dounineApp/node_modules (10ms)
Scanning folders for symlinks in /Users/huanghuanlai/dounine/oschina/dounineApp/node_modules (10ms)
Loading dependency graph, done.
bundle: start
bundle: finish
bundle: Writing bundle output to: /var/folders/m_/xcdff0xd62j4l2xbn_nfz00w0000gn/T/CodePush/main.jsbundle
bundle: Done writing bundle output
Releasing update contents to CodePush:
Upload progress:[==================================================] 100% 0.0s
Successfully released an update containing the "/var/folders/m_/xcdff0xd62j4l2xbn_nfz00w0000gn/T/CodePush" directory to the "Staging" deployment of the "dounineApp-ios" app.
`
``

11. 重新Load刷新应用

![](http://upload-images.jianshu.io/upload_images/9028759-30c17d2f5db173cd.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)

12. 安卓发布

与上面9~11步骤是一样的,命令改成Android对应的,以下命令结果简化

1.修改App.js的deploymentKey为安卓的

```
deploymentKey:'T0NshYi9X8nRkIe_cIRZGbAut90a6dec4087-57cf-4c9d-b0dc-ad38ce431e1d'
`
``

2.运行

```
react-native run-android
`
``

3.发布

```
code-push release-react dounineApp-android android
`
``
收起阅读 »

应急响应 WEB 分析日志攻击,后门木马(手动分析 和 自动化分析.)

💛不登上悬崖💚,💛又怎么领略一览众山的绝顶风光💚🍪目录:🌲应急响应的概括:🌲应急响应阶段:🌲应急响应准备工作:🌲从入侵面及权限面进行排查:🌲工具下载🌲应急响应的日志分析:🌷手动化分析日志:🌷自动化化分析日志: (1)360星图.(支持 iis /...
继续阅读 »


💛不登上悬崖💚,💛又怎么领略一览众山的绝顶风光💚
🍪目录:

🌲应急响应的概括:

🌲应急响应阶段:

🌲应急响应准备工作:

🌲从入侵面及权限面进行排查:

🌲工具下载

🌲应急响应的日志分析:

🌷手动化分析日志:

🌷自动化化分析日志:

(1)360星图.(支持 iis / apache / nginx日志)

(2)方便大量日志查看工具.

🌷后门木马检测.

(1)D盾_Web查杀. 

🌲应急响应的概括:
🌾🌾🌾应急响应”对应的英文是“Incident Response”或“Emergency Response”等,通常是指一个组织为了应对各种意外事件的发生所做的准备以及在事件发生后所采取的措.
🌾🌾🌾网络安全应急响应:针对已经发生的或可能发生的安全事件进行监控、分析、协调、处理、保护资产安全.

🌲应急响应阶段:

保护阶段:断网,备份重要文件(防止攻击者,这些期间删除文件重要文件.)

分析阶段:分析攻击行为,找出相应的漏洞.

复现阶段:复现攻击者攻击的过程,有利于了解当前环境的安全问题和安全检测.

修复阶段:对相应的漏洞提出修复.

建议阶段:对漏洞和安全问题提出合理解决方案.
目的:分析出攻击时间,攻击操作,攻击后果,安全修复等并给出合理解决方案

🌲应急响应准备工作:
(1)收集目标服务器各类信息.

(2)部署相关分析软件及平台等.

(3)整理相关安全渗透工具指纹库.

(4)针对异常表现第一时间触发思路. 

🌲从入侵面及权限面进行排查:
有明确信息网站被入侵: 1.基于时间 2.基于操作 3.基于指纹 4.基于其他.


无明确信息网站被入侵:(1)WEB 漏洞-检查源码类别及漏洞情况.
(2)中间件漏洞-检查对应版本及漏洞情况.
(3)第三方应用漏洞-检查是否存在漏洞应用.
(4)操作系统层面漏洞-检查是否存在系统漏洞.
(5)其他安全问题(口令,后门等)- 检查相关应用口令及后门扫描.


🌲工具下载   链接:https://pan.baidu.com/s/14njkNfj3HisIKN26IYOZXQ 
                    提取码:tian 




🌲应急响应的日志分析:


🌷手动化分析日志:


(1)弱口令的爆破日志.(可以看到是一个IP在同一个时间,使用多个账号和密码不停测试)





(2)SQL注入的日志.(搜索 select 语句.)


(3)有使用SQLmap工具的注入.(搜索SQLmap)


我的靶场日志没有记录SQLmap.(这里就不加图了)


     


(4)目录扫描日志.(看的时候会发现,前面的目录都是一样的.)




     


(5)XSS攻击日志.(搜索:script,javascript,onclick,%3Cimg对这些关键字进行查看)
(7)目录遍历攻击日志.


(8)后门木马日志.(搜索连接工具:anTSword,菜刀,冰蝎等工具 排查后门.)


       


       


🌷自动化化分析日志:


(1)360星图.(支持 iis / apache / nginx日志


1.设置日志分析路径.
2.点击进行日志分析.


    


3.点击查看日志.




    


安全分析报告.




常规分析报告.


     


(2)方便大量日志查看工具.


1.工具的设置.




2.SQL注入攻击日志.


3.目录遍历攻击.


4.XSS攻击日志.


      


🌷后门木马检测.


(1)D盾_Web查杀.


1.选择扫描的目录.




2.扫描到的后门木马.












收起阅读 »

堆(优先级队列)

 目录 🥬堆的性质 🥬堆的分类  🥬堆的向下调整 🥬堆的建立 🥬堆得向上调整 🥬堆的常用操作 🍌入队列 🍌出队列 🍌获取队首元素 🥬TopK 问题 🥬堆的性质 堆逻辑上是一棵完全二叉树,堆物理上是保存在数组中 。总...
继续阅读 »


 目录


🥬堆的性质


🥬堆的分类


 🥬堆的向下调整


🥬堆的建立


🥬堆得向上调整


🥬堆的常用操作


🍌入队列


🍌出队列


🍌获取队首元素


🥬TopK 问题



🥬堆的性质




堆逻辑上是一棵完全二叉树,堆物理上是保存在数组中 。

总结:一颗完全二叉树以层序遍历方式放入数组中存储,这种方式的主要用法就是堆的表示。
并且 如果已知父亲(parent) 的下标,则:
左孩子(left) 下标 = 2 * parent + 1;
右孩子(right) 下标 = 2 * parent + 2;
已知孩子(不区分左右)(child)下标,则:
双亲(parent) 下标 = (child - 1) / 2;
🥬堆的分类
大堆:根节点大于左右两个子节点的完全二叉树 (父亲节点大于其子节点),叫做大堆,或者大根堆,或者最大堆 。 


小堆:根节点小于左右两个子节点的完全二叉树叫
小堆(父亲节点小于其子节点),或者小根堆,或者最小堆。

🥬堆的向下调整

现在有一个数组,逻辑上是完全二叉树,我们通过从根节点开始的向下调整算法可以把它调整成一个小堆或者大堆。向下调整算法有一个前提:左右子树必须是一个堆,才能调整。

以小堆为例:

1、先让左右孩子结点比较,取最小值。

2、用较小的那个孩子结点与父亲节点比较,如果孩子结点<父亲节点,交换,反之,不交换。

3、循环往复,如果孩子结点的下标越界,则说明已经到了最后,就结束。

//parent: 每棵树的根节点
//len: 每棵树的调整的结束位置

public void shiftDown(int parent,int len){
int child=parent*2+1; //因为堆是完全二叉树,没有左孩子就一定没有右孩子,所以最起码是有左孩子的,至少有1个孩子
while(child<len){
if(child+1<len && elem[child]<elem[child+1]){
child++;//两孩子结点比较取较小值
}
if(elem[child]<elem[parent]){
int tmp=elem[parent];
elem[parent]=elem[child];
elem[child]=tmp;
parent=child;
child=parent*2+1;
}else{
break;
}
}
}


🥬堆的建立
给出一个数组,这个数组逻辑上可以看做一颗完全二叉树,但是还不是一个堆(左右子树不满足都是大堆或者小堆),现在我们通过算法,把它构建成一个堆(大堆或者小堆)。该怎么做呢?这里我们从倒数的第一个非叶子节点的子树开始调整,一直调整到根节点的树,就可以调整成堆。 这里我们就要用到刚才写的向下调整。

public void creatHeap(int[] arr){
for(int i=0;i<arr.length;i++){
elem[i]=arr[i];
useSize++;
}
for(int parent=(useSize-1-1)/2;parent>=0;parent--){//数组下标从0开始
shiftDown(parent,useSize);
}
}



建堆的空间复杂度为O(N),因为堆为一棵完全二叉树,满二叉树也是一种完全二叉树,我们用满二叉树(最坏情况下)来证明。


🥬堆得向上调整


现在有一个堆,我们需要在堆的末尾插入数据,再对其进行调整,使其仍然保持堆的结构,这就是向上调整。


以大堆为例:




代码示例:

public void shiftup(int child){
int parent=(child-1)/2;
while(child>0){
if(elem[child]>elem[parent]){
int tmp=elem[parent];
elem[parent]=elem[child];
elem[child]=tmp;
child=parent;
parent=(child-1)/2;
}else{
break;
}
}
}



🥬堆的常用操作


🍌入队列


往堆里面加入元素,就是往最后一个位置加入,然后在进行向上调整

public boolean isFull(){
return elem.length==useSize;
}

public void offer(int val){
if(isFull()){
elem= Arrays.copyOf(elem,2*elem.length);//扩容
}
elem[useSize++]=val;
shiftup(useSize-1);
}



🍌获取队首元素



public int peek() {
if (isEmpty()) {
throw new RuntimeException("优先级队列为空");
}
return elem[0];
}


🥬TopK 问题

给你6个数据,求前3个最大数据。这时候我们用堆怎么做的?

解题思路:

1、如果求前K个最大的元素,要建一个小根堆。
2、如果求前K个最小的元素,要建一个大根堆。
3、第K大的元素。建一个小堆,堆顶元素就是第K大的元素。
4、第K小的元素。建一个大堆,堆顶元素就是第K大的元素。

🍌举个例子:求前n个最大数据

 
代码示例:

public static int[] topK(int[] array,int k){
//创建一个大小为K的小根堆
PriorityQueue<Integer> minHeap=new PriorityQueue<>(k, new Comparator<Integer>() {
@Override
public int compare(Integer o1, Integer o2) {
return o1-o2;
}
});
//遍历数组中元素,将前k个元素放入队列中
for(int i=0;i<array.length;i++){
if(minHeap.size()<k){
minHeap.offer(array[i]);
}else{
//从k+1个元素开始,分别和堆顶元素比较
int top=minHeap.peek();
if(array[i]>top){
//先弹出后存入
minHeap.poll();
minHeap.offer(array[i]);
}
}
}
//将堆中元素放入数组中
int[] tmp=new int[k];
for(int i=0;i< tmp.length;i++){
int top=minHeap.poll();
tmp[i]=top;
}
return tmp;
}

public static void main(String[] args) {
int[] array={12,8,23,6,35,22};
int[] tmp=topK(array,3);
System.out.println(Arrays.toString(tmp));
}



结果:


🍌数组排序


 再者说如果要对一个数组进行从小到大排序,要借助大根堆还是小根堆呢?


---->大根堆


  代码示例:

public void heapSort(){
int end=useSize-1;
while(end>0){
int tmp=elem[0];
elem[0]=elem[end];
elem[end]=tmp;
shiftDown(0,end);//假设这里向下调整为大根堆
end--;
}
}



🥬小结


以上就是今天的内容了,有什么问题可以在评论区留言✌✌✌



收起阅读 »

直播APP开发搭建,直播APP源码涉及方方面面

最近直播APP源码的热度持续上升,究其原因还是因为直播市场的繁荣。直播APP开发搭建到底能做哪些事呢?1. 主播用户开启手机直播 可以设置只有签约主播才能开启手机直播,也可以设置所有注册用户都有权限 开启手机直播的时候可以选择手机前后手机摄像头设备,也可以在直...
继续阅读 »

最近直播APP源码的热度持续上升,究其原因还是因为直播市场的繁荣。

直播APP开发搭建到底能做哪些事呢?

1. 主播用户开启手机直播 可以设置只有签约主播才能开启手机直播,也可以设置所有注册用户都有权限 开启手机直播的时候可以选择手机前后手机摄像头设备,也可以在直播过程中进行切换。

2. 玩家用户观看手机直播 玩家可以通过手机APP观看主播的直播。

3. 用户之间聊天互动 用户可以通过聊天窗口进行文字和表情的聊天,聊天部分使用node.js实现。

4. 用户之间礼物赠送 玩家可以充值后购买赠送礼物给主播,用户和主播分别可以在用户中心可以看到自己赠送和获得礼物的详细列表。

播放列表

直播APP开发的媒体播放器提供下面的方法来访问播放列表中的剪辑:

Next 方法,跳到节目(播放列表)中的下一个剪辑;

Previous 方法,跳回到节目中的上一个剪辑;

媒体播放器的一个特性是能够预览节目中的每一个剪辑,使用如下属性:

PreviewMode 属性,决定媒体播放器当前是否处于预览模式;

直播APP开发搭建,直播APP源码涉及方方面面

了解流媒体(直播APP开发搭建需要用到流媒体)

流媒体开发:网络层(socket或st)负责传输,协议层(rtmp或hls)负责网络打包,封装层(flv、ts)负责编解码数据的封装,编码层(h.264和aac)负责图像,音频压缩。

帧:每帧代表一幅静止的图像。

GOP:(Group of Pictures)画面组,一个GOP就是一组连续的画面,每个画面都是一帧,一个GOP就是很多帧的集合。

直播的数据,其实是一组图片,包括I帧、P帧、B帧,当用户第一次观看的时候,会寻找I帧,而播放器会到服务器寻找到最近的I帧反馈给用户。因此,GOP Cache增加了端到端延迟,因为它必须要拿到最近的I帧。

直播APP的开发说难也难,说容易也相当容易。

难,是因为搞个直播要考虑的东西太多了,根本不是一个人能够搞定的。因为直播中运用到的技术难点非常之多,视频/音频处理,图形处理,视频/音频压缩,CDN分发,即时通讯等技术,每一个技术都够你学几年的。

从采集编码传输到解码播放这个过程要处理的东西太多了:单就视频的采集来说就涉及两方面数据的采集:音频采集和图像采集,涉及到各种算法,这是一个很庞大的工作量。


收起阅读 »

短视频源码开发,短视频源码应该从哪些方面进行优化?

短视频作为更加符合移动互联网时代用户触媒习惯的视频内容形式,在内容上和功能上本身就具有很大的想象空间。通过“短视频+”的方式现在有不少平台上搭建和嵌入短视频源码,是一个不错的入局途径。短视频压缩短视频的压缩问题是短视频源码的难点之一。视频拍摄、上传完成后,要在...
继续阅读 »

短视频作为更加符合移动互联网时代用户触媒习惯的视频内容形式,在内容上和功能上本身就具有很大的想象空间。通过“短视频+”的方式现在有不少平台上搭建和嵌入短视频源码,是一个不错的入局途径。

短视频压缩

短视频的压缩问题是短视频源码的难点之一。视频拍摄、上传完成后,要在不影响用户体验的情况下完成短视频帧率的统一、格式统一、分辨率处理、短视频压缩等处理。

短视频不进行压缩处理的情况下上传,会造成资源的浪费,对运营商来说,长期以往的带宽浪费会非常费钱。

实现秒播

短视频app源码中的短视频列表在打开时,就会主动扣留列表中的最后一个视频到内存中,然后再对其他视频进行预加载,当进行下拉刷新操作时,会将上次扣留的短视频作为刷新后的第一个视频进行展示,再去预加载其他视频内容,通过这样的方式,优化小视频app源码中短视频秒播的问题。

短视频源码开发,短视频源码应该从哪些方面进行优化?

大数据分析

短视频源码的数据分析功能非常重要,在推荐上、获取用户喜好上都能发挥很大的作用。百万级的用户,想要做到精准的推荐,就离不开对用户数据的分析,通过平时观看的喜好,充分了解用户的观看习惯。

短视频的录制

短视频录制功能通常能够设置视频的录制时长,可以录制的时间长一点或者短一点,配置各类的视频参数,像视频分辨率、码率等等。此外,短视频之所以这么火爆,还在于短视频中加了很多特效和滤镜,像有一个可爱的、搞怪的、清新的等等,还有很多动态的贴纸,面具,动态的在线染发,更关键的话还有很多小游戏,让人沉迷在短视频中。

除了以上短视频源码开发功能之外,管理后台也在全套方案中扮演着重要的角色。除了能够配置APP客户端相对应的功能外,还需要有良好的操作体验,方便短视频平台运营商的各项实际操作。

消息也是短视频源码当中重要的一环,是内容互动的前提条件。除了系统及时推送消息之外,粉丝和主播之间、粉丝和粉丝之间都可以进行私信的互动,也可以针对自己喜欢的视频进行评论。

收起阅读 »

视频超过三十秒后再接受 无数据

视频超过三十秒后再接受 无数据

视频超过三十秒后再接受 无数据


【直播回顾】华为云×环信,强强联手实现用户增长,降本增效加快企业转型!

1月28日晚上19:00,华为云云市场新生态直播邀请到环信产品总监王璨老师,以《浅谈增长秘籍:看APP如何利用IM云拉新促活》为题做了分享,他提到互联网的特点是以用户为中心,企业要靠不断提升客户体验,帮助客户“定义”产品,累积形成用户规模优势,从而形成突破性增...
继续阅读 »
1月28日晚上19:00,华为云云市场新生态直播邀请到环信产品总监王璨老师,以《浅谈增长秘籍:看APP如何利用IM云拉新促活》为题做了分享,他提到互联网的特点是以用户为中心,企业要靠不断提升客户体验,帮助客户“定义”产品,累积形成用户规模优势,从而形成突破性增长。同时结合环信即时通讯云和客服云详细讲解了用户增长、利用IM做拉新促活、降本增效的具体方法及策略,也分享了环信联合华为云助力企业数字化转型的成功实践,现在让我们来一起回顾一下要点吧!

f449e79bfab08b16b5e46893046090b.jpg


王璨总监在直播中谈到,环信一共有两条主要产品线——即时通讯云及客服云,在用户增长方面,环信结合产品给出了有竞争力的解决方案。
首先是关于APP增长之分析。当前企业营销运营环节中遇到的突出问题包括流量红利褪去,公域流量获取成本高等,疫情之下,企业加快了数字转型,需要严格控制投入产出比,所以如何获取私域流量成了众多企业能否良好生存及发展的关键因素。
结合当前微信生态,微信私域流量的红利也终将褪去,企业触达用户的渠道更加分散,针对此,环信推出即时通讯云帮助客户打造全渠道的私域流量运营体系,在用户获取方面使用5G富媒体消息、邮件、外呼机器人等工具主动触达,利用微信公众号、小程序、客服等进行公域流量转化,获取用户后,及时与用户建立连接并激活。
在智能客服助力企业降本增效方面,环信推出智能客服机器人和外呼机器人,极大的节省了人力成本,提升客服效率。
根据目前产品,王璨老师也深入分析了环信是如何利用IM云拉新促活,使用客服云降本增效。
环信即时通讯云(IM)将资源部署在华为云上,利用多集群的方案,为客户提供更稳定、更高等级的服务,基于国内开发者客户需求,提供深度优化的SDK。同时环信即时通讯云产品提供包括直播、视频会议、语音连麦聊天室、小程序、小游戏、企业内部IM、智能硬件等多种解决方案。
环信客服云(CEC)提供全渠道互动与全媒体接入,来自不同媒体的服务请求均可以统一接入,一键回复。帮助用户打造跨网、跨界、跨平台的极致客户体验。
环信智能问答机器人为用户降低人工成本,通过大量数据消息训练机器人,优化参数,最终提升工作效率;外呼机器人系统结合云呼叫中心,呼出频率远高于人工;同时环信客服云提供视频客服,全平台支持、灵活接入,极大提升用户使用体验;统一融合智慧工单,不仅能实现工单的有效整合和高效流转,更能快速发现产品功能缺失,提升内部运营效率;提供开放平台能力,可以通过自由组合实现客户的个性化客服需求。
环信即时通讯云及客服云产品通过了华为云相关安全认证,将服务部署在华为云上,稳定性和技术支持能够得到保障,多年来与众多行业头部企业合作,在跨境电商、在线教育、医疗、制造、金融、智能硬件等行业都有成功实践!
获取更多详情请点击https://0x7.me/NaqQm,进入华为云云市场直播间观看精彩回放! 收起阅读 »

【华为云生态直播】浅谈APP增长秘籍,看直播抽取华为手环、蓝牙音箱

5G时代,企业如何提升用户体验、实现增长?众所周知IM是APP拉新促活的标配服务,环信作为全球最大的即时通讯云服务商如何做到亿级高并发助力全民直播获客?小程序IM如何赋能APP客户?如何在全球200多个国家和地区服务社交、游戏等出海企业?以及面对互联网新规,如...
继续阅读 »
5G时代,企业如何提升用户体验、实现增长?众所周知IM是APP拉新促活的标配服务,环信作为全球最大的即时通讯云服务商如何做到亿级高并发助力全民直播获客?小程序IM如何赋能APP客户?如何在全球200多个国家和地区服务社交、游戏等出海企业?以及面对互联网新规,如何提供敏感词过滤、智能反垃圾、鉴黄、图片合规等服务,让APP远离不良信息侵扰。

同样,作为领先的全渠道智能在线客服,环信如何为企业降低60%客服成本,提高80%线索转化?看直播,抽取华为手环、蓝牙音箱、体脂秤、双肩包等惊喜礼物,1月28日晚7点,华为云云市场新生态直播邀您不见不散!


带二维码_副本.jpg


  收起阅读 »

程序员如何写出高质量的代码程序

编码是程序员最重要的工作,每个程序员都希望自己可以写出优雅,高性能,高质量的代码,对于大师级别的程序员,他们的写的代码就和艺术品一样,你会忍不住发出惊叹,他们怎么可以创造出如此惊艳的作品出来。 下面笔者就以自己的浅薄学识和一些经验来总结下优秀的程序应该具有的特...
继续阅读 »
编码是程序员最重要的工作,每个程序员都希望自己可以写出优雅,高性能,高质量的代码,对于大师级别的程序员,他们的写的代码就和艺术品一样,你会忍不住发出惊叹,他们怎么可以创造出如此惊艳的作品出来。
下面笔者就以自己的浅薄学识和一些经验来总结下优秀的程序应该具有的特点。

每个变量的命名都深思熟虑

普通程序员的变量命名很随便,以至于随便到abcd都会出来,而高质量的代码的命名则很规范,既不长,也不短,既可以读出它们的含义,又不至于显得啰嗦,总之,从变量命名你就能读出一个程序是否优雅。

从配置文件中读取变量

很多人喜欢在程序中通过注释来修改变量值,这样的做法非常不对,首先不说无用地注释影响了代码的整洁,就通过修改代码来修改变量的值就是不优雅的。

一个优秀的程序,一定是从配置文件中读取所需要的变量的,而修改配置文件对于一个人来说远远比去源代码中修改变量值要方便的多得多。

当你学会从配置文件中读取配置,修改配置的时候,你的程序才是优秀的。

一定要有测试代码

一个高质量的程序一定会有测试代码,记住无论程序功能多么简单,我们都要写测试代码。为什么TDD会流行,因为很多人懒得写代码,而TDD就是强迫你写测试代码,因为这样可以让代码更加健壮,同时,其它人修改代码也可以不会造成更重大影响。

我们不一定使用TDD进行程序开发,但是一定要写测试代码,有了测试代码,你的程序才经得起折腾,记住,有时候你会犯迷糊,但是测试代码不会,跑通过测试用例的代码至少可以让你减少很多错误。

一定要写日志

一个程序开发之后,你是没有办法预测它的使用环境和使用方式的,你能做的就是在它出现错误的时候记录下日志,这样你才可能进行分析。同时,在程序开发的过程中,通过记录日志也可以方便我们进行代码的调试,日志也是调试分析的一种方式。

永远不要重复写代码

古人云事不过三,写代码也一样,当你在很多地方写了重复代码的时候,你要记得将它们重构,永远不要写重复的代码,发现重复的时候,记得使用函数将它抽象出来。

很多人喜欢拷贝代码,然后你会发现他的程序中好多代码是一样的,而当他要修改代码的时候,不得不每一处都需要修改,这不仅浪费时间,还可能造成代码的遗漏。

代码格式要统一

记得以前听过一个笑话,我们中国人写的代码,一个人写的像一千个人写的一样,而印度人写的代码,一千人像一个人写的一样。

我们不要求所有人写的代码风格都一模一样,但是我们需要你写的代码前后要统一,同时要遵循代码推荐分隔。

现在所有的语言都有自己的代码格式风格,你只要按照规则来写就好。

总结

优秀的代码每一个变量的命名都是反复斟酌的,每一个函数都是力求最精简的,每一个方法都是尽力是最高效的。

自己写完的代码一定要复审,有时候很多明显的错误一定要避免。

代码之道永无止境,我们只有不断地总结,才能写出接近优秀的程序,而优秀的程序永远都不会存在。 收起阅读 »

【直播】小程序客服使用场景及集成方案

时间:12月25日下午 15:00-15:30 时长:半小时 课程主题:小程序客服解决方案 主讲人:客服云产品经理 王芳 1、课程介绍: 小程序客服使用场景及集成方案 2、受众人群: 环信客服云用户 3、培训内容: 小程序客服适用的业务场景 各种场景对应...
继续阅读 »
时间:12月25日下午 15:00-15:30
时长:半小时
课程主题:小程序客服解决方案
主讲人:客服云产品经理 王芳

1、课程介绍:
小程序客服使用场景及集成方案

2、受众人群:
环信客服云用户

3、培训内容:
小程序客服适用的业务场景
各种场景对应的集成方案
            
点击报名直播链接:
https://ke.qq.com/course/423521?taid=10778130235422305
扫码加入环信客服云公开课企业微信群


008e39785613a515bb45420eed40f15.jpg



  收起阅读 »

客服工作量分配不均

1.管理员模式---设置---功能设置 页面 打开后,找    *熟客优先开关,如果之前开启,需要关闭,这个对新会话调度有影响   *允许客服手动接入会话 ,这个也需要关闭   让所有会话均为系统...
继续阅读 »
1.管理员模式---设置---功能设置 页面 打开后,找 
  *熟客优先开关,如果之前开启,需要关闭,这个对新会话调度有影响





  *允许客服手动接入会话 ,这个也需要关闭   让所有会话均为系统自动调度,客服手动接起会影响会话分配




2.如果上述两个都是关闭状态,之后检查 工作量不均的客服所在技能组,最大接待量,某个时间段或者某天内 上线空闲时长,这三个因素是否一致
*客服所在技能组
 管理员模式--成员--在线技能组  可以查看技能组内成员





 
*客服最大接待量
管理员模式--成员--客服   在线客服 列表可以查看最大接待量,最好保持一致,并且不要让客服手动修改






最大接待量建议所有统一由管理员调整,管理员模式---设置---系统开关  客服自定义最大接待人数   关闭





*客服指定时间段内上线空闲时长
管理员模式--统计--客服时长统计    点右上角筛选排序可以指定时间段,最好当前接线的客服上线空闲时长基本一致





3.如果上述条件均符合,最后看  管理员模式--统计--工作量 页面底部的客服工作量报表 -->会话时长  客服平均会话时长数据





如果接起会话数量少的客服,平均会话时长比接起会话多的客服较长,建议该客服处理完会话后手动关闭结束,避免占位影响新会话调度(如果占位会影响空闲率的计算)
注意:
另外您可以配置系统自动结束会话避免因为客服没有手动关闭会话影响会话调度
    可以到  管理员模式----设置--功能设置 页面  
   访客超时未回复自动结束会话
   不活跃会话超时自动结束   ,配置后针对的是新会话生效,旧的会话还是需要手动结束
配置文档参考
http://docs.easemob.com/cs/200admin/50settings#%E8%AE%BF%E5%AE%A2%E8%B6%85%E6%97%B6%E6%9C%AA%E5%9B%9E%E5%A4%8D%E8%87%AA%E5%8A%A8%E7%BB%93%E6%9D%9F%E4%BC%9A%E8%AF%9D









如果排查以上因素均无异常,到 管理员模式---设置---功能设置   
分配会话时检测坐席在线状态  如果当前为开启,建议先关闭后 再观察看下






(此开关为预调度。目前预调度的分配原则是这样的:访客发起咨询后,系统会给技能组中前10个,没有技能组就是10个客服,发送通知消息,哪个客服回复的ACK比较快,就认为这个客服的接待能力是比较好的,会把新来的访客的直接调度给这个客服,不会考虑客服系统现有的分配原则:空闲率+已结束会话。
  影响客服回复ACK的因素:网络原因+客服电脑的硬件设备的性能)
    此开关关闭 ,会话仍然是调度给在线空闲的客服。不影响会话进线。
如有其他疑问,可以工作时间联系在线客服咨询解决。您需要登录客服系统:https://kefu.easemob.com  登陆后,切换到管理员模式,点击右上角 技术支持,之后点击页面中的联系客服 发起会话。 收起阅读 »

港真,这些语言并不是你以为的那样!

今天在Quora上看到的问答: If programming languages had honest titles, what would they be? 看看如下的回答,看来是对这些语言有了深入了解和亲身使用后才会有的答案: 1. C++ — A F...
继续阅读 »
今天在Quora上看到的问答:


If programming languages had honest titles, what would they be?


看看如下的回答,看来是对这些语言有了深入了解和亲身使用后才会有的答案:
1. C++ — A Force of Nature
源自自然的原力:确实,当你掌握了C++,是不是有种君临天下的感觉,除了灭霸的响指,估计找不到其它更有力的武器了。
2. Ruby —The Slow Scripting Language
可能是为了告诉你世事不完美,当你拥有简洁、优雅的编程语法的同时,你不得不忍受它运行时蜗牛一般的速度。
3. Haskell — Academic Hardon
4. Python — 21st Century Basic
目测马上就要“Python从娃娃抓起”了,趁着AI和机器学习的大热,Python已经走上人生巅峰。
5. Erlang — The Dying Language
将死?不会,顶多半死。
6. Elixir — It ain’t Ruby!
7. C# — Java for Microsoft
8. Java — You will object, even if you object!

你终将厌恶,即使你现在反对!呵呵,多么痛的领悟!
9.Kotlin — Java could never be so cool!
二进制兼容Java,超过Java一个身位的语法,确实是语言工程实践的极佳范例!
10. Rust — The Be Safe Language
创立以后的几年一直默默无闻,可能是最近这世界越来越不安全,卧薪尝胆后逐渐要出人头地的赶脚?
11. Lisp — Parentitis
一层一层的括号能把你看晕,但是Emacs的名气又让你不得不对它肃然起敬。加上《黑客与画家》作者Paul Graham的吹捧,俨然是编程语言届的高富帅!
12. Clojure — Parentitis with Style!
13. C — Assembler for Fraidycats
一切荣誉归于谭浩强教授和计算机二级水平考试。
14. Assembler — The Bit Twiddler Language
15. Perl — Mean and Lean Scripting Machine
只记得所有的正则表达式语法都以兼容Perl为荣!
16. PHP — The Ewwww Language
宇宙最佳,不接受反驳。
17. Forth — Stack’em Up
18. BASIC — Useless
19. Visual Basic — Mostly Useless, except for the 3rd world.
20. Go — A Google Orgy
Google = Go olge? 反正挺佩服这帮人利用20%自由时间创造出来的语言,那80%时间算是浪费了。
21. Javascript — Prototyping Nightmare
原型噩梦可能是Javascript设计之初最草率的决定,但是也不影响它成为如今的Web编程王者。
22. R — A data scientist’s Wet Dream
没有深入使用不易理解,但是怕这春梦多半也是搞基的!
23. Julia — Whoops! We forgot Concurrency!
24. Fortran — BASIC done right!
25. Lua — The “tuck me in anywhere” language.
随便塞到哪里都能用,这个真不是吹的。
26. Ada — Where Real Programmers just got Real about Real Time.
27. COBOL — It won’t die because it can’t die because it still runs your payroll.
28. Pascal — Teacher’s old time favourite to learn you a useless language.
29. PL/1 — If you know this, you worked at IBM and are now retired.
30. ALGOL — Who’s your daddy? Who’s your dinosaur?
31. Dart — Yet another “compiled to JavaScript” language
高仿版JavaScript,经常写着写着就会问自己:我是谁,我在哪?

    收起阅读 »

    科普:QUIC协议原理分析

    作者介绍:罗成,腾讯资深研发工程师。目前主要负责腾讯 stgw(腾讯安全云网关)的相关工作,整体推进腾讯内部及腾讯公有云,混合云的七层负载均衡及全站 HTTPS 接入。对 HTTPS,SPDY,HTTP2,QUIC 等应用层协议、高性能服务器技术、云网络技术、...
    继续阅读 »
    作者介绍:罗成,腾讯资深研发工程师。目前主要负责腾讯 stgw(腾讯安全云网关)的相关工作,整体推进腾讯内部及腾讯公有云,混合云的七层负载均衡及全站 HTTPS 接入。对 HTTPS,SPDY,HTTP2,QUIC 等应用层协议、高性能服务器技术、云网络技术、用户访问速度、分布式文件传输等有较深的理解。

    本文主要介绍 QUIC 协议产生的背景和核心特性。

    写在前面

    如果你的 App,在不需要任何修改的情况下就能提升 15% 以上的访问速度。特别是弱网络的时候能够提升 20% 以上的访问速度。

    如果你的 App,在频繁切换 4G 和 WIFI 网络的情况下,不会断线,不需要重连,用户无任何感知。如果你的 App,既需要 TLS 的安全,也想实现 HTTP2 多路复用的强大。

    如果你刚刚才听说 HTTP2 是下一代互联网协议,如果你刚刚才关注到 TLS1.3 是一个革命性具有里程碑意义的协议,但是这两个协议却一直在被另一个更新兴的协议所影响和挑战。

    如果这个新兴的协议,它的名字就叫做“快”,并且正在标准化为新一代的互联网传输协议。

    你愿意花一点点时间了解这个协议吗?你愿意投入精力去研究这个协议吗?你愿意全力推动业务来使用这个协议吗?

    QUIC 概述

    Quic 全称 quick udp internet connection [1],“快速 UDP 互联网连接”,(和英文 quick 谐音,简称“快”)是由 google 提出的使用 udp 进行多路并发传输的协议。

    Quic 相比现在广泛应用的 http2+tcp+tls 协议有如下优势 [2]:

    减少了 TCP 三次握手及 TLS 握手时间。

    改进的拥塞控制。

    避免队头阻塞的多路复用。

    连接迁移。

    前向冗余纠错。

    为什么需要 QUIC

    从上个世纪 90 年代互联网开始兴起一直到现在,大部分的互联网流量传输只使用了几个网络协议。使用 IPv4 进行路由,使用 TCP 进行连接层面的流量控制,使用 SSL/TLS 协议实现传输安全,使用 DNS 进行域名解析,使用 HTTP 进行应用数据的传输。

    而且近三十年来,这几个协议的发展都非常缓慢。TCP 主要是拥塞控制算法的改进,SSL/TLS 基本上停留在原地,几个小版本的改动主要是密码套件的升级,TLS1.3[3] 是一个飞跃式的变化,但截止到今天,还没有正式发布。IPv4 虽然有一个大的进步,实现了 IPv6,DNS 也增加了一个安全的 DNSSEC,但和 IPv6 一样,部署进度较慢。

    随着移动互联网快速发展以及物联网的逐步兴起,网络交互的场景越来越丰富,网络传输的内容也越来越庞大,用户对网络传输效率和 WEB 响应速度的要求也越来越高。

    一方面是历史悠久使用广泛的古老协议,另外一方面用户的使用场景对传输性能的要求又越来越高。如下几个由来已久的问题和矛盾就变得越来越突出。

    协议历史悠久导致中间设备僵化。

    依赖于操作系统的实现导致协议本身僵化。

    建立连接的握手延迟大。

    队头阻塞。

    这里分小节简单说明一下:

    中间设备的僵化

    可能是 TCP 协议使用得太久,也非常可靠。所以我们很多中间设备,包括防火墙、NAT 网关,整流器等出现了一些约定俗成的动作。

    比如有些防火墙只允许通过 80 和 443,不放通其他端口。NAT 网关在转换网络地址时重写传输层的头部,有可能导致双方无法使用新的传输格式。整流器和中间代理有时候出于安全的需要,会删除一些它们不认识的选项字段。

    TCP 协议本来是支持端口、选项及特性的增加和修改。但是由于 TCP 协议和知名端口及选项使用的历史太悠久,中间设备已经依赖于这些潜规则,所以对这些内容的修改很容易遭到中间环节的干扰而失败。

    而这些干扰,也导致很多在 TCP 协议上的优化变得小心谨慎,步履维艰。

    依赖于操作系统的实现导致协议僵化

    TCP 是由操作系统在内核西方栈层面实现的,应用程序只能使用,不能直接修改。虽然应用程序的更新迭代非常快速和简单。但是 TCP 的迭代却非常缓慢,原因就是操作系统升级很麻烦。

    现在移动终端更加流行,但是移动端部分用户的操作系统升级依然可能滞后数年时间。PC 端的系统升级滞后得更加严重,windows xp 现在还有大量用户在使用,尽管它已经存在快 20 年。

    服务端系统不依赖用户升级,但是由于操作系统升级涉及到底层软件和运行库的更新,所以也比较保守和缓慢。

    这也就意味着即使 TCP 有比较好的特性更新,也很难快速推广。比如 TCP Fast Open。它虽然 2013 年就被提出了,但是 Windows 很多系统版本依然不支持它。

    建立连接的握手延迟大

    不管是 HTTP1.0/1.1 还是 HTTPS,HTTP2,都使用了 TCP 进行传输。HTTPS 和 HTTP2 还需要使用 TLS 协议来进行安全传输。这就出现了两个握手延迟:

    1.TCP 三次握手导致的 TCP 连接建立的延迟。

    2.TLS 完全握手需要至少 2 个 RTT 才能建立,简化握手需要 1 个 RTT 的握手延迟。

    对于很多短连接场景,这样的握手延迟影响很大,且无法消除。

    队头阻塞

    队头阻塞主要是 TCP 协议的可靠性机制引入的。TCP 使用序列号来标识数据的顺序,数据必须按照顺序处理,如果前面的数据丢失,后面的数据就算到达了也不会通知应用层来处理。

    另外 TLS 协议层面也有一个队头阻塞,因为 TLS 协议都是按照 record 来处理数据的,如果一个 record 中丢失了数据,也会导致整个 record 无法正确处理。

    概括来讲,TCP 和 TLS1.2 之前的协议存在着结构性的问题,如果继续在现有的 TCP、TLS 协议之上实现一个全新的应用层协议,依赖于操作系统、中间设备还有用户的支持。部署成本非常高,阻力非常大。

    所以 QUIC 协议选择了 UDP,因为 UDP 本身没有连接的概念,不需要三次握手,优化了连接建立的握手延迟,同时在应用程序层面实现了 TCP 的可靠性,TLS 的安全性和 HTTP2 的并发性,只需要用户端和服务端的应用程序支持 QUIC 协议,完全避开了操作系统和中间设备的限制。

    QUIC 核心特性连接建立延时低

    0RTT 建连可以说是 QUIC 相比 HTTP2 最大的性能优势。那什么是 0RTT 建连呢?这里面有两层含义。

    传输层 0RTT 就能建立连接。
    加密层 0RTT 就能建立加密连接。


    1.jpg


     
    图 1 HTTPS 及 QUIC 建连过程
    比如上图左边是 HTTPS 的一次完全握手的建连过程,需要 3 个 RTT。就算是 Session Resumption[14],也需要至少 2 个 RTT。
    而 QUIC 呢?由于建立在 UDP 的基础上,同时又实现了 0RTT 的安全握手,所以在大部分情况下,只需要 0 个 RTT 就能实现数据发送,在实现前向加密 [15] 的基础上,并且 0RTT 的成功率相比 TLS 的 Sesison Ticket[13] 要高很多。

    改进的拥塞控制

    TCP 的拥塞控制实际上包含了四个算法:慢启动,拥塞避免,快速重传,快速恢复 [22]。

    QUIC 协议当前默认使用了 TCP 协议的 Cubic 拥塞控制算法 [6],同时也支持 CubicBytes, Reno, RenoBytes, BBR, PCC 等拥塞控制算法。

    从拥塞算法本身来看,QUIC 只是按照 TCP 协议重新实现了一遍,那么 QUIC 协议到底改进在哪些方面呢?主要有如下几点:

    可插拔

    什么叫可插拔呢?就是能够非常灵活地生效,变更和停止。体现在如下方面:

    应用程序层面就能实现不同的拥塞控制算法,不需要操作系统,不需要内核支持。这是一个飞跃,因为传统的 TCP 拥塞控制,必须要端到端的网络协议栈支持,才能实现控制效果。而内核和操作系统的部署成本非常高,升级周期很长,这在产品快速迭代,网络爆炸式增长的今天,显然有点满足不了需求。

    即使是单个应用程序的不同连接也能支持配置不同的拥塞控制。就算是一台服务器,接入的用户网络环境也千差万别,结合大数据及人工智能处理,我们能为各个用户提供不同的但又更加精准更加有效的拥塞控制。比如 BBR 适合,Cubic 适合。

    应用程序不需要停机和升级就能实现拥塞控制的变更,我们在服务端只需要修改一下配置,reload 一下,完全不需要停止服务就能实现拥塞控制的切换。

    STGW 在配置层面进行了优化,我们可以针对不同业务,不同网络制式,甚至不同的 RTT,使用不同的拥塞控制算法。

    单调递增的 Packet Number

    TCP 为了保证可靠性,使用了基于字节序号的 Sequence Number 及 Ack 来确认消息的有序到达。
    QUIC 同样是一个可靠的协议,它使用 Packet Number 代替了 TCP 的 sequence number,并且每个 Packet Number 都严格递增,也就是说就算 Packet N 丢失了,重传的 Packet N 的 Packet Number 已经不是 N,而是一个比 N 大的值。而 TCP 呢,重传 segment 的 sequence number 和原始的 segment 的 Sequence Number 保持不变,也正是由于这个特性,引入了 Tcp 重传的歧义问题。


    2.jpg


     
    图 2 Tcp 重传歧义性
    如上图所示,超时事件 RTO 发生后,客户端发起重传,然后接收到了 Ack 数据。由于序列号一样,这个 Ack 数据到底是原始请求的响应还是重传请求的响应呢?不好判断。
    如果算成原始请求的响应,但实际上是重传请求的响应(上图左),会导致采样 RTT 变大。如果算成重传请求的响应,但实际上是原始请求的响应,又很容易导致采样 RTT 过小。
    由于 Quic 重传的 Packet 和原始 Packet 的 Pakcet Number 是严格递增的,所以很容易就解决了这个问题。


    3.jpg


     
    图 3 Quic 重传没有歧义性
    如上图所示,RTO 发生后,根据重传的 Packet Number 就能确定精确的 RTT 计算。如果 Ack 的 Packet Number 是 N+M,就根据重传请求计算采样 RTT。如果 Ack 的 Pakcet Number 是 N,就根据原始请求的时间计算采样 RTT,没有歧义性。
    但是单纯依靠严格递增的 Packet Number 肯定是无法保证数据的顺序性和可靠性。QUIC 又引入了一个 Stream Offset 的概念。

    即一个 Stream 可以经过多个 Packet 传输,Packet Number 严格递增,没有依赖。但是 Packet 里的 Payload 如果是 Stream 的话,就需要依靠 Stream 的 Offset 来保证应用数据的顺序。如错误! 未找到引用源。所示,发送端先后发送了 Pakcet N 和 Pakcet N+1,Stream 的 Offset 分别是 x 和 x+y。
    假设 Packet N 丢失了,发起重传,重传的 Packet Number 是 N+2,但是它的 Stream 的 Offset 依然是 x,这样就算 Packet N + 2 是后到的,依然可以将 Stream x 和 Stream x+y 按照顺序组织起来,交给应用程序处理。


    4.jpg


     
    图 4 Stream Offset 保证有序性
     
    不允许 Reneging
    什么叫 Reneging 呢?就是接收方丢弃已经接收并且上报给 SACK 选项的内容 [8]。TCP 协议不鼓励这种行为,但是协议层面允许这样的行为。主要是考虑到服务器资源有限,比如 Buffer 溢出,内存不够等情况。

    Reneging 对数据重传会产生很大的干扰。因为 Sack 都已经表明接收到了,但是接收端事实上丢弃了该数据。

    QUIC 在协议层面禁止 Reneging,一个 Packet 只要被 Ack,就认为它一定被正确接收,减少了这种干扰。

    更多的 Ack 块

    TCP 的 Sack 选项能够告诉发送方已经接收到的连续 Segment 的范围,方便发送方进行选择性重传。

    由于 TCP 头部最大只有 60 个字节,标准头部占用了 20 字节,所以 Tcp Option 最大长度只有 40 字节,再加上 Tcp Timestamp option 占用了 10 个字节 [25],所以留给 Sack 选项的只有 30 个字节。

    每一个 Sack Block 的长度是 8 个,加上 Sack Option 头部 2 个字节,也就意味着 Tcp Sack Option 最大只能提供 3 个 Block。

    但是 Quic Ack Frame 可以同时提供 256 个 Ack Block,在丢包率比较高的网络下,更多的 Sack Block 可以提升网络的恢复速度,减少重传量。

    Ack Delay 时间

    Tcp 的 Timestamp 选项存在一个问题 [25],它只是回显了发送方的时间戳,但是没有计算接收端接收到 segment 到发送 Ack 该 segment 的时间。这个时间可以简称为 Ack Delay。
    这样就会导致 RTT 计算误差。如下图:


    5.jpg


     可以认为 TCP 的 RTT 计算:


    6.jpg



    而 Quic 计算如下:


    7.jpg



    当然 RTT 的具体计算没有这么简单,需要采样,参考历史数值进行平滑计算,参考如下公式 [9]。


    8.jpg



    基于 stream 和 connecton 级别的流量控制

    QUIC 的流量控制 [22] 类似 HTTP2,即在 Connection 和 Stream 级别提供了两种流量控制。为什么需要两类流量控制呢?主要是因为 QUIC 支持多路复用。

    Stream 可以认为就是一条 HTTP 请求。

    Connection 可以类比一条 TCP 连接。多路复用意味着在一条 Connetion 上会同时存在多条 Stream。既需要对单个 Stream 进行控制,又需要针对所有 Stream 进行总体控制。

    QUIC 实现流量控制的原理比较简单:

    通过 window_update 帧告诉对端自己可以接收的字节数,这样发送方就不会发送超过这个数量的数据。

    通过 BlockFrame 告诉对端由于流量控制被阻塞了,无法发送数据。

    QUIC 的流量控制和 TCP 有点区别,TCP 为了保证可靠性,窗口左边沿向右滑动时的长度取决于已经确认的字节数。如果中间出现丢包,就算接收到了更大序号的 Segment,窗口也无法超过这个序列号。
    但 QUIC 不同,就算此前有些 packet 没有接收到,它的滑动只取决于接收到的最大偏移字节数。


    9.jpg


     
    图 5 Quic Flow Control针对 Stream:

    10.jpg



    针对 Connection:


    11.jpg



    同样地,STGW 也在连接和 Stream 级别设置了不同的窗口数。

    最重要的是,我们可以在内存不足或者上游处理性能出现问题时,通过流量控制来限制传输速率,保障服务可用性。

    没有队头阻塞的多路复用

    QUIC 的多路复用和 HTTP2 类似。在一条 QUIC 连接上可以并发发送多个 HTTP 请求 (stream)。但是 QUIC 的多路复用相比 HTTP2 有一个很大的优势。

    QUIC 一个连接上的多个 stream 之间没有依赖。这样假如 stream2 丢了一个 udp packet,也只会影响 stream2 的处理。不会影响 stream2 之前及之后的 stream 的处理。

    这也就在很大程度上缓解甚至消除了队头阻塞的影响。
    多路复用是 HTTP2 最强大的特性 [7],能够将多条请求在一条 TCP 连接上同时发出去。但也恶化了 TCP 的一个问题,队头阻塞 [11],如下图示:


    12.jpg


     
    图 6 HTTP2 队头阻塞
    HTTP2 在一个 TCP 连接上同时发送 4 个 Stream。其中 Stream1 已经正确到达,并被应用层读取。但是 Stream2 的第三个 tcp segment 丢失了,TCP 为了保证数据的可靠性,需要发送端重传第 3 个 segment 才能通知应用层读取接下去的数据,虽然这个时候 Stream3 和 Stream4 的全部数据已经到达了接收端,但都被阻塞住了。 
    不仅如此,由于 HTTP2 强制使用 TLS,还存在一个 TLS 协议层面的队头阻塞 [12]。


    13.jpg


     
    图 7 TLS 队头阻塞
    Record 是 TLS 协议处理的最小单位,最大不能超过 16K,一些服务器比如 Nginx 默认的大小就是 16K。由于一个 record 必须经过数据一致性校验才能进行加解密,所以一个 16K 的 record,就算丢了一个字节,也会导致已经接收到的 15.99K 数据无法处理,因为它不完整。
    那 QUIC 多路复用为什么能避免上述问题呢?

    QUIC 最基本的传输单元是 Packet,不会超过 MTU 的大小,整个加密和认证过程都是基于 Packet 的,不会跨越多个 Packet。这样就能避免 TLS 协议存在的队头阻塞。
    Stream 之间相互独立,比如 Stream2 丢了一个 Pakcet,不会影响 Stream3 和 Stream4。不存在 TCP 队头阻塞。


    14.jpg


     
    图 8 QUIC 多路复用时没有队头阻塞的问题
    当然,并不是所有的 QUIC 数据都不会受到队头阻塞的影响,比如 QUIC 当前也是使用 Hpack 压缩算法 [10],由于算法的限制,丢失一个头部数据时,可能遇到队头阻塞。
    总体来说,QUIC 在传输大量数据时,比如视频,受到队头阻塞的影响很小。

    加密认证的报文

    TCP 协议头部没有经过任何加密和认证,所以在传输过程中很容易被中间网络设备篡改,注入和窃听。比如修改序列号、滑动窗口。这些行为有可能是出于性能优化,也有可能是主动攻击。

    但是 QUIC 的 packet 可以说是武装到了牙齿。除了个别报文比如 PUBLIC_RESET 和 CHLO,所有报文头部都是经过认证的,报文 Body 都是经过加密的。

    这样只要对 QUIC 报文任何修改,接收端都能够及时发现,有效地降低了安全风险。

    如下图所示,红色部分是 Stream Frame 的报文头部,有认证。绿色部分是报文内容,全部经过加密。


    15.jpg



    连接迁移

    一条 TCP 连接 [17] 是由四元组标识的(源 IP,源端口,目的 IP,目的端口)。什么叫连接迁移呢?就是当其中任何一个元素发生变化时,这条连接依然维持着,能够保持业务逻辑不中断。当然这里面主要关注的是客户端的变化,因为客户端不可控并且网络环境经常发生变化,而服务端的 IP 和端口一般都是固定的。

    比如大家使用手机在 WIFI 和 4G 移动网络切换时,客户端的 IP 肯定会发生变化,需要重新建立和服务端的 TCP 连接。

    又比如大家使用公共 NAT 出口时,有些连接竞争时需要重新绑定端口,导致客户端的端口发生变化,同样需要重新建立 TCP 连接。

    针对 TCP 的连接变化,MPTCP[5] 其实已经有了解决方案,但是由于 MPTCP 需要操作系统及网络协议栈支持,部署阻力非常大,目前并不适用。

    所以从 TCP 连接的角度来讲,这个问题是无解的。

    那 QUIC 是如何做到连接迁移呢?很简单,任何一条 QUIC 连接不再以 IP 及端口四元组标识,而是以一个 64 位的随机数作为 ID 来标识,这样就算 IP 或者端口发生变化时,只要 ID 不变,这条连接依然维持着,上层业务逻辑感知不到变化,不会中断,也就不需要重连。

    由于这个 ID 是客户端随机产生的,并且长度有 64 位,所以冲突概率非常低。

    其他亮点

    此外,QUIC 还能实现前向冗余纠错,在重要的包比如握手消息发生丢失时,能够根据冗余信息还原出握手消息。

    QUIC 还能实现证书压缩,减少证书传输量,针对包头进行验证等。

    限于篇幅,本文不再详细介绍,有兴趣的可以参考文档 [23] 和文档 [4] 和文档 [26]。

    参考线索

    [1]. https://www.chromium.org/quic

    [2]. https://docs.google.com/document/d/1gY9-YNDNAB1eip-RTPbqphgySwSNSDHLq9D5Bty4FSU/edit

    [3]. E. Rescorla, “The Transport Layer Security (TLS) Protocol Version 1.3”, draft-ietf-tls-tls13-21, https://tools.ietf.org/html/draft-ietf-tls-tls13-21, July 03, 2017

    [4]. Adam Langley,Wan-Teh Chang, “QUIC Crypto”,https://docs.google.com/document/d/1g5nIXAIkN_Y-7XJW5K45IblHd_L2f5LTaDUDwvZ5L6g/edit, 20161206

    [5]. https://www.multipath-tcp.org/

    [6]. Ha, S., Rhee, I., and L. Xu, "CUBIC: A New TCP-Friendly High-Speed TCP Variant", ACM SIGOPS Operating System Review , 2008.

    [7]. M. Belshe,BitGo, R. Peon, “Hypertext Transfer Protocol Version 2 (HTTP/2)”, RFC 7540, May 2015

    [8]. M. Mathis,J. Mahdavi,S. Floyd,A. Romanow,“TCP Selective Acknowledgment Options”, rfc2018, https://tools.ietf.org/html/rfc2018, October 1996

    [9]. V. Paxson,M. Allman,J. Chu,M. Sargent,“Computing TCP's Retransmission Timer”, rfc6298, https://tools.ietf.org/html/rfc6298, June 2011

    [10]. R. Peon,H. Ruellan,“HPACK: Header Compression for HTTP/2”,RFC7541,May 2015

    [11]. M. Scharf, Alcatel-Lucent Bell Labs, S. Kiesel, “Quantifying Head-of-Line Blocking in TCP and SCTP”, https://tools.ietf.org/id/draft-scharf-tcpm-reordering-00.html, July 15, 2013

    [12]. Ilya Grigorik,“Optimizing TLS Record Size & Buffering Latency”, https://www.igvita.com/2013/10/24/optimizing-tls-record-size-and-buffering-latency/, October 24, 2013

    [13]. J. Salowey,H. Zhou,P. Eronen,H. Tschofenig, “Transport Layer Security (TLS) Session Resumption without Server-Side State”, RFC5077, January 2008

    [14]. Dierks, T. and E. Rescorla, "The Transport Layer Security (TLS) Protocol Version 1.2", RFC 5246, DOI 10.17487/RFC5246, August 2008, .

    [15]. Shirey, R., "Internet Security Glossary, Version 2", FYI , RFC 4949, August 2007

    [16]. 罗成,“HTTPS性能优化”, http://www.infoq.com/cn/presentations/performance-optimization-of-https,February.2017

    [17]. Postel, J., "Transmission Control Protocol", STD 7, RFC793, September 1981.

    [18]. J. Postel,“User Datagram Protocol”, RFC768,August 1980

    [19]. Q. Dang, S. Santesson,K. Moriarty,D. Brown.T. Polk, “Internet X.509 Public Key Infrastructure: Additional Algorithms and Identifiers for DSA and ECDSA”,RFC5758, January 2010

    [20]. Bassham, L., Polk, W., and R. Housley, "Algorithms and Identifiers for the Internet X.509 Public Key Infrastructure Certificate and Certificate Revocation List (CRL) Profile", RFC 3279, April 2002

    [21]. D.Cooper,S.Santesson, S.Farrell,S. Boeyen,R. Housley,W.Polk, “Internet X.509 Public Key Infrastructure Certificate and Certificate Revocation List (CRL) Profile”, RFC5280, May 2008

    [22]. M. Allman,V. Paxson,E. Blanton, "TCP Congestion Control”,RFC5681, September 2009

    [23]. Robbie Shade, “Flow control in QUIC”, https://docs.google.com/document/d/1F2YfdDXKpy20WVKJueEf4abn_LVZHhMUMS5gX6Pgjl4/edit#, May, 2016,

    [24]. ianswett , “QUIC fec v1”, https://docs.google.com/document/d/1Hg1SaLEl6T4rEU9j-isovCo8VEjjnuCPTcLNJewj7Nk/edit#heading=h.xgjl2srtytjt, 2016-02-19

    [25]. D.Borman,B.Braden,V.Jacobson,R.Scheffenegger, Ed. “TCP Extensions for High Performance”,rfc7323, https://tools.ietf.org/html/rfc7323,September 2014

    [26]. 罗成,“WEB加速,协议先行”, https://zhuanlan.zhihu.com/p/27938635,july, 2017 收起阅读 »

    Netty实现长连接服务的各种难点和可优化点

    推送服务还记得一年半前,做的一个项目需要用到 Android 推送服务。和 iOS 不同,Android 生态中没有统一的推送服务。Google 虽然有 Google Cloud Messaging ,但是连国外都没统一,更别说国内了,直接...
    继续阅读 »

    推送服务

    还记得一年半前,做的一个项目需要用到 Android 推送服务。和 iOS 不同,Android 生态中没有统一的推送服务。Google 虽然有 Google Cloud Messaging ,但是连国外都没统一,更别说国内了,直接被墙。

    所以之前在 Android 上做推送大部分只能靠轮询。而我们之前在技术调研的时候,搜到了 jPush 的博客,上面介绍了一些他们的技术特点,他们主要做的其实就是移动网络下的长连接服务。单机 50W-100W 的连接的确是吓我一跳!后来我们也采用了他们的免费方案,因为是一个受众面很小的产品,所以他们的免费版够我们用了。一年多下来,运作稳定,非常不错!

    时隔两年,换了部门后,竟然接到了一项任务,优化公司自己的长连接服务端。

    再次搜索网上技术资料后才发现,相关的很多难点都被攻破,网上也有了很多的总结文章,单机 50W-100W 的连接完全不是梦,其实人人都可以做到。但是光有连接还不够,QPS 也要一起上去。

    所以,这篇文章就是汇总一下利用 Netty 实现长连接服务过程中的各种难点和可优化点。

    Netty 是什么

    Netty: http://netty.io/

    Netty is an asynchronous event-driven network application framework for rapid development of maintainable high performance protocol servers & clients.

    官方的解释最精准了,期中最吸引人的就是高性能了。但是很多人会有这样的疑问:直接用 NIO 实现的话,一定会更快吧?就像我直接手写 JDBC 虽然代码量大了点,但是一定比 iBatis 快!

    但是,如果了解 Netty 后你才会发现,这个还真不一定!

    利用 Netty 而不用 NIO 直接写的优势有这些:

    高性能高扩展的架构设计,大部分情况下你只需要关注业务而不需要关注架构

    Zero-Copy 技术尽量减少内存拷贝

    为 Linux 实现 Native 版 Socket

    写同一份代码,兼容 java 1.7 的 NIO2 和 1.7 之前版本的 NIO

    Pooled Buffers 大大减轻 Buffer 和释放 Buffer 的压力

    ……

    特性太多,大家可以去看一下《Netty in Action》这本书了解更多。

    另外,Netty 源码是一本很好的教科书!大家在使用的过程中可以多看看它的源码,非常棒!

     
    瓶颈是什么

    想要做一个长链服务的话,最终的目标是什么?而它的瓶颈又是什么?

    其实目标主要就两个:

    更多的连接

    更高的 QPS

    所以,下面就针对这连个目标来说说他们的难点和注意点吧。

    更多的连接
    非阻塞 IO


    其实无论是用 Java NIO 还是用 Netty,达到百万连接都没有任何难度。因为它们都是非阻塞的 IO,不需要为每个连接创建一个线程了。

    欲知详情,可以搜索一下BIO,NIO,AIO的相关知识点。

    Java NIO 实现百万连接ServerSocketChannel ssc = ServerSocketChannel.open(); Selector sel = Selector.open(); ssc.configureBlocking(false); ssc.socket().bind(new InetSocketAddress(8080)); SelectionKey key = ssc.register(sel, SelectionKey.OP_ACCEPT); while(true) {     sel.select();     Iterator it = sel.selectedKeys().iterator();     while(it.hasNext()) {         SelectionKey skey = (SelectionKey)it.next();         it.remove();         if(skey.isAcceptable()) {             ch = ssc.accept();         }     } }这段代码只会接受连过来的连接,不做任何操作,仅仅用来测试待机连接数极限。

    大家可以看到这段代码是 NIO 的基本写法,没什么特别的。


    Netty 实现百万连接NioEventLoopGroup bossGroup =  new NioEventLoopGroup(); NioEventLoopGroup workerGroup= new NioEventLoopGroup(); ServerBootstrap bootstrap = new ServerBootstrap(); bootstrap.group(bossGroup, workerGroup); bootstrap.channel( NioServerSocketChannel.class); bootstrap.childHandler(new ChannelInitializer() {     @Override protected void initChannel(SocketChannel ch) throws Exception {         ChannelPipeline pipeline = ch.pipeline();         //todo: add handler     }}); bootstrap.bind(8080).sync();这段其实也是非常简单的 Netty 初始化代码。同样,为了实现百万连接根本没有什么特殊的地方。


    瓶颈到底在哪

    上面两种不同的实现都非常简单,没有任何难度,那有人肯定会问了:实现百万连接的瓶颈到底是什么?

    其实只要 java 中用的是非阻塞 IO(NIO 和 AIO 都算),那么它们都可以用单线程来实现大量的 Socket 连接。 不会像 BIO 那样为每个连接创建一个线程,因为代码层面不会成为瓶颈。

    其实真正的瓶颈是在 Linux 内核配置上,默认的配置会限制全局最大打开文件数(Max Open Files)还会限制进程数。 所以需要对 Linux 内核配置进行一定的修改才可以。

    这个东西现在看似很简单,按照网上的配置改一下就行了,但是大家一定不知道第一个研究这个人有多难。

    这里直接贴几篇文章,介绍了相关配置的修改方式:

    构建C1000K的服务器

    100万并发连接服务器笔记之1M并发连接目标达成

    淘宝技术分享 HTTP长连接200万尝试及调优


    如何验证

    让服务器支持百万连接一点也不难,我们当时很快就搞定了一个测试服务端,但是最大的问题是,我怎么去验证这个服务器可以支撑百万连接呢?

    我们用 Netty 写了一个测试客户端,它同样用了非阻塞 IO ,所以不用开大量的线程。 但是一台机器上的端口数是有限制的,用root权限的话,最多也就 6W 多个连接了。 所以我们这里用 Netty 写一个客户端,用尽单机所有的连接吧。NioEventLoopGroup workerGroup =  new NioEventLoopGroup(); Bootstrap b = new Bootstrap(); b.group(workerGroup); b.channel( NioSocketChannel.class); b.handler(new ChannelInitializer() {     @Override     public void initChannel(SocketChannel ch) throws Exception {         ChannelPipeline pipeline = ch.pipeline();         //todo:add handler     }     }); for (int k = 0; k < 60000; k++) {     //请自行修改成服务端的IP     b.connect(127.0.0.1, 8080); }代码同样很简单,只要连上就行了,不需要做任何其他的操作。

    这样只要找到一台电脑启动这个程序即可。这里需要注意一点,客户端最好和服务端一样,修改一下 Linux 内核参数配置。


    怎么去找那么多机器

    按照上面的做法,单机最多可以有 6W 的连接,百万连接起码需要17台机器!

    如何才能突破这个限制呢?其实这个限制来自于网卡。 我们后来通过使用虚拟机,并且把虚拟机的虚拟网卡配置成了桥接模式解决了问题。

    根据物理机内存大小,单个物理机起码可以跑4-5个虚拟机,所以最终百万连接只要4台物理机就够了。


    讨巧的做法

    除了用虚拟机充分压榨机器资源外,还有一个非常讨巧的做法,这个做法也是我在验证过程中偶然发现的。

    根据 TCP/IP 协议,任何一方发送FIN后就会启动正常的断开流程。而如果遇到网络瞬断的情况,连接并不会自动断开。

    那我们是不是可以这样做?

    启动服务端,千万别设置 Socket 的keep-alive属性,默认是不设置的

    用虚拟机连接服务器

    强制关闭虚拟机

    修改虚拟机网卡的 MAC 地址,重新启动并连接服务器

    服务端接受新的连接,并保持之前的连接不断

    我们要验证的是服务端的极限,所以只要一直让服务端认为有那么多连接就行了,不是吗?

    经过我们的试验后,这种方法和用真实的机器连接服务端的表现是一样的,因为服务端只是认为对方网络不好罢了,不会将你断开。

    另外,禁用keep-alive是因为如果不禁用,Socket 连接会自动探测连接是否可用,如果不可用会强制断开。


    更高的 QPS

    由于 NIO 和 Netty 都是非阻塞 IO,所以无论有多少连接,都只需要少量的线程即可。而且 QPS 不会因为连接数的增长而降低(在内存足够的前提下)。

    而且 Netty 本身设计得足够好了,Netty 不是高 QPS 的瓶颈。那高 QPS 的瓶颈是什么?

    是数据结构的设计!


    如何优化数据结构

    首先要熟悉各种数据结构的特点是必需的,但是在复杂的项目中,不是用了一个集合就可以搞定的,有时候往往是各种集合的组合使用。

    既要做到高性能,还要做到一致性,还不能有死锁,这里难度真的不小…

    我在这里总结的经验是,不要过早优化。优先考虑一致性,保证数据的准确,然后再去想办法优化性能。

    因为一致性比性能重要得多,而且很多性能问题在量小和量大的时候,瓶颈完全会在不同的地方。 所以,我觉得最佳的做法是,编写过程中以一致性为主,性能为辅;代码完成后再去找那个 TOP1,然后去解决它!


    解决 CPU 瓶颈

    在做这个优化前,先在测试环境中去狠狠地压你的服务器,量小量大,天壤之别。

    有了压力测试后,就需要用工具来发现性能瓶颈了!

    我喜欢用的是 VisualVM,打开工具后看抽样器(Sample),根据自用时间(Self Time (CPU))倒序,排名第一的就是你需要去优化的点了!
    备注:Sample 和 Profiler 有什么区别?前者是抽样,数据不是最准但是不影响性能;后者是统计准确,但是非常影响性能。 如果你的程序非常耗 CPU,那么尽量用 Sample,否则开启 Profiler 后降低性能,反而会影响准确性。


    http://test1.imgeek.org/uploads/article/20191126/14e7ab8751ca9c5855ca1036267bbe91.png



     还记得我们项目第一次发现的瓶颈竟然是ConcurrentLinkedQueue这个类中的size()方法。 量小的时候没有影响,但是Queue很大的时候,它每次都是从头统计总数的,而这个size()方法我们又是非常频繁地调用的,所以对性能产生了影响。

    size()的实现如下:public int size() {     int count = 0;     for (Node p = first(); p != null; p = succ(p))     if (p.item != null)     // Collection.size() spec says to max out     if (++count == Integer.MAX_VALUE)     break;     return count; }后来我们通过额外使用一个AtomicInteger来计数,解决了问题。但是分离后岂不是做不到高一致性呢? 没关系,我们的这部分代码关心最终一致性,所以只要保证最终一致就可以了。

    总之,具体案例要具体分析,不同的业务要用不同的实现。


    解决 GC 瓶颈

    GC 瓶颈也是 CPU 瓶颈的一部分,因为不合理的 GC 会大大影响 CPU 性能。

    这里还是在用 VisualVM,但是你需要装一个插件:VisualGC


    http://test1.imgeek.org/uploads/article/20191126/185c955e6a07360571f6566fde267e19.png




    有了这个插件后,你就可以直观的看到 GC 活动情况了。

    按照我们的理解,在压测的时候,有大量的 New GC 是很正常的,因为有大量的对象在创建和销毁。

    但是一开始有很多 Old GC 就有点说不过去了!

    后来发现,在我们压测环境中,因为 Netty 的 QPS 和连接数关联不大,所以我们只连接了少量的连接。内存分配得也不是很多。

    而 JVM 中,默认的新生代和老生代的比例是1:2,所以大量的老生代被浪费了,新生代不够用。

    通过调整 -XX:NewRatio 后,Old GC 有了显著的降低。

    但是,生产环境又不一样了,生产环境不会有那么大的 QPS,但是连接会很多,连接相关的对象存活时间非常长,所以生产环境更应该分配更多的老生代。

    总之,GC 优化和 CPU 优化一样,也需要不断调整,不断优化,不是一蹴而就的。


    其他优化

    如果你已经完成了自己的程序,那么一定要看看《Netty in Action》作者的这个网站:Netty Best Practices a.k.a Faster == Better。

    相信你会受益匪浅,经过里面提到的一些小小的优化后,我们的整体 QPS 提升了很多。

    最后一点就是,java 1.7 比 java 1.6 性能高很多!因为 Netty 的编写风格是事件机制的,看似是 AIO。 可 java 1.6 是没有 AIO 的,java 1.7 是支持 AIO 的,所以如果用 java 1.7 的话,性能也会有显著提升。


    最后成果

    经过几周的不断压测和不断优化了,我们在一台16核、120G内存(JVM只分配8G)的机器上,用 java 1.6 达到了60万的连接和20万的QPS。

    其实这还不是极限,JVM 只分配了8G内存,内存配置再大一点连接数还可以上去;

    QPS 看似很高,System Load Average 很低,也就是说明瓶颈不在 CPU 也不在内存,那么应该是在 IO 了! 上面的 Linux 配置是为了达到百万连接而配置的,并没有针对我们自己的业务场景去做优化。

    因为目前性能完全够用,线上单机 QPS 最多才 1W,所以我们先把精力放在了其他地方。 相信后面我们还会去继续优化这块的性能,期待 QPS 能有更大的突破!

    本作品由 Dozer 创作,采用 知识共享署名-非商业性使用 4.0 国际许可协议 进行许可

    收起阅读 »

    如何构建分布式SFU/MCU媒体服务器?

    本文来自英特尔实时通信解决方案架构师 段先德在LiveVideoStackCon2019上海大会的分享,详细介绍了英特尔在进行分布式SFU/MCU媒体服务器的架构设计中秉持的一些设计原则以及关键问题的解决思路。 大家好,我是来自英特尔上海研发中心的段先德。从2...
    继续阅读 »
    本文来自英特尔实时通信解决方案架构师 段先德在LiveVideoStackCon2019上海大会的分享,详细介绍了英特尔在进行分布式SFU/MCU媒体服务器的架构设计中秉持的一些设计原则以及关键问题的解决思路。
    大家好,我是来自英特尔上海研发中心的段先德。从2014年开始主要做基于WebRTC的实时通信和统一通信解决方案。对于实时通讯来说WebRTC技术是一个革命性的存在。2014年4月英特尔发布了Intel® Collaboration Suite for WebRTC,这是一款可免费使用的包含服务器侧程序和客户端SDK的完整解决方案。经过多年的迭代更新,当前最新发布的是4.2版本。

    1. Requirements and Design Principles

    本次分享的内容主要分为三个部分,首先介绍英特尔ICS for WebRTC项目中要解决的问题;其次介绍我们在解决这些问题的时候的指导思想和整体设计原则;最后介绍我们的解决方案目前的状态以及当下和近期要做的一些事情。

    1.1 Functional Requirements


    1.jpg



    我们项目团队最初的出发点是希望能做一套够达到一般功能性要求的基于互联网的视频会议解决方案。譬如可以支持WebRTC和SIP终端,实现接入到同一个会议中。SIP主要针对的是存量设备,重点是对WebRTC终端的支持。WebRTC接入相比于很多以前存量的企业视频会议解决方案有很多的突破,从2011年以后Chrome在端多媒体系统,弱网对抗方面以及音视频处理这方面一直在持续的改进。

    英特尔很早就注意到在WebRTC时代,亟需一个统一的终端和服务器侧的解决方案。我们需要把企业内外的一些移动终端、桌面应用、浏览器、传统的SIP终端设备都支持起来,需要支持NAT穿越和屏幕共享,需要支持服务器侧音视频录制,等等。这里面很多功能性需求通过传统SIP的解决方案做起来很不方便或者成本很高,但是在WebRTC时代,在基于互联网应用的技术思路下,可以很便捷、很优雅地解决这些问题,于是我们在2014年做了ICS for WebRTC v1.0。之后在2016年和2017年之间直播类的应用大爆发使得有些客户希望我们的解决方案里面能够支持直播类场景,把实时互动场景下的音视频流通过RTMP/RTSP/HLS/Dash推送到现有的CDN网络里面去。基于这类需求,我们在功能性方面增加了互动Streaming的能力。

    2018年到现在,直播的用户体验要求越来越高,客户希望主播和粉丝或者观众之间的互动能够非常平滑的切换,同时端到端的时延也能够做得更好,也就是希望做到保证端到端的实时性的前提下,在单个呼叫里支持海量的用户连接。这就要求服务器侧系统既要有非常大的“扇出”能力,要支持终端连接在“发布者”和“订阅者”之间非常平滑地进行切换。我们目前正在做的就是把目前的解决方案扩展到这种能够支持大规模并发的“实时互动广播”,初步目标是单个呼叫里达到百万以上的并发连接,而且端到端的时延能够全球控制在300毫秒以内。关于端到端时延,我们在国内互联网上做过一些小规模的测试,测试结果的时延是150毫秒以内。我们还希望这个解决方案能够很方便封装成类似于CDN的服务访问接口或者形式,以便集成到客户现有的直播解决方案中去。

    我们当前的解决方案已经具备了非常灵活的服务器侧媒体处理,服务器端可以做音视频的混音混流,比如说当前的一个呼叫里面有十几个参与方,有的参与方希望订阅呼叫中其他参与方发布的原始流,有的参与方希望订阅所有或部分参与方的mix流,有的参与方希望订阅符合自己对codec、分辨率、帧率、码率等定制化要求的转发流,我们当前的解决方案已经可以很好地支持这些需求。

    1.2 Nonfunctional Requirements


    2.jpg



    如果仅仅是为了达到前面所讲的各种功能性需求,随便选择一个现有的开源框架去改改,再自己从头写一些功能模块拼凑一下,总可以整出一个PoC的版本或可以初步走向产品的东西。如果是要严肃地做一个打算把它放到生产环境去运营的产品级别的东西,真正考验这个解决方案的生命力的其实是它在非功能性需求方面的取舍和功力。即使是选择现有的开源框架去做产品,这个框架对非功能性方面的考量也是最重要的决定因素。

    在非功能性方面主要关注的点有三个方面。

    一是系统的可扩展性,它的服务部署规模可大可小,可以小到在一台英特尔®️ 酷睿™️i7的PC上部署使用,大到一个集群几百台甚至上千台机器组成一个大的cluster上部署使用。另外呼叫的参与方式可以是两三个人的讨论会,或者十几个人一般视频会议,又或者是几十人的在线课堂。部署时可以在当前的系统容量不足时在不中断业务的前提下增加或者删减当前部署的规模,达到很灵活的Scale in/Scale out。

    二是容错性,容错能力大多描述都比较抽象,但是落实到系统在做设计的时候要考虑的东西就是非常具体的设计决策,在系统设计里面我们会强调甚至固执的坚持每一个部件都可能会出错,运行时都会发生crash,这就需要在流程设计或者一般逻辑里面handle这些问题,在系统发生部分失效的时候,要能够做到自动恢复或服务优雅降级。

    三是分布式部署,单台机器上单实例的部署是不可能做容错的,只有分布式的部署才能够做到。我们要求允许把任何部件部署在数据中心的多台机器上面。我们现在进一步的要求是要能够把任何部件部署在多个数据中心,进行跨数据中心的分布式部署。

    2.Unified Media Spread Model UMSM)
    2.1 Modularization at Runtime


    3.jpg



    要满足上述的各种功能性和非功能性需求,就需要在概念模型上对系统的各个部件进行足够的抽象,将逻辑上独立的部件封装到运行时独立的模块里面——即模块化。不管是从单一职责的角度来说,还是从系统的可组合性来说,模块化是自始至终不能打破的一个原则,是我们当前系统——也是很多复杂系统进行架构的第一原则。在我们的系统设计中,对于跟客户端交互的部件来说,要把信令和媒体分开。对于媒体部分来说,媒体的接入部分和处理部分一定是分开的,直接和用户打交道的部分和后台内部的一些处理部件,不管是从单一职责角度来讲还是从面向接口的健壮性要求来讲都必须把它们分开。

    我们的服务器侧系统在运行时可以分成五大块。

    第一块就是跟客户端进行信令交互的部件,即图中的WebRTC Portal和SIP Portal。他们跟WebRTC客户端和SIP终端进行信令交互。值得注意的一点是WebRTC标准对信令交互的格式和通道没有规定,我们采用的是一种承载在socket.io通道中的私有协议。

    第二块是跟客户端进行音视频媒体交互的部件,即图中的WebRTC Agent、Streaming Agent、SIP Agent和Recording Agent。其中WebRTC Agent负责跟客户端之间建立PeerConnection连接,SIP Agent跟SIP终端RTP流进行传输,Streaming Agent是针对RTSP/RTMP/HLS/Dash流,我们可以把IPCamera的RTSP流作为输入直接拉到系统里面来,也可以把系统里面任何一个输入流/合成流/转码后的流作为输出推送到RTMP Server上去,Recording虽然是完全发生在服务器侧的行为,但实际上在概念层次上面是更接近于流的输出。所以在概念模型里我们也把Recording Agent当做媒体接出部件,以达到概念模型的一致性。

    第三块是媒体处理的部件,即图中的Audio Agent和Video Agent。Audio Agent是进行音频混音转码工作的部件,Video Agent是视频的合屏和转码的部件,这些所有的部件都是单独部署独立进程在运行。

    第四块是呼叫控制的部件,即图中的Conference Agent。我们的系统还是将多方实时音视频通信作为场景基础,Conference Agent就是一通呼叫的总控制部件,它负责room中的参与者、流、订阅关系的控制和管理。对于像远程教育、远程医疗、远程协助之类的其他场景,我们主要是通过对Conference Agent来进行拓展和增强去支持。

    第五块就是一些支持部件。整个服务器系统在运行和单机运行时都是cluster形式,Cluster Manager就是一个简单的cluster管理器。视频会议场景中会有一些room的预配置和管理,room的配置数据存放在MongoDB中,管理员都是通过OAM UI通过RESTful API访问Management API部件实现数据访问并受理REST请求。另外各个部件之间的rpc是架设在RabbitMQ消息队列上的。

    2.2 Strong Isolation


    4.jpg



    第二个原则就是要做强隔离。在系统里面坚持执行的原则就是要做强隔离,运行时一定是把看到的逻辑上面独立部件,把它在物理上也做成完全独立的运行时进程。比如像信令受理部件和信令执行部件就是分别独立的进程。这样做使得信令受理部件可以独立于呼叫控制里面的业务逻辑而存在。同理媒体接入部件和媒体处理部件也是分别独立进程。这里的进程就是OS语义上面进程,是我们服务器侧系统构建的基本元素,是生命体的细胞,不同的部件之间进行通讯唯一的方式就是message passing(消息传递)。在概念模型里面看的得到部件都是用单独的Worker进程来处理一个独立的Job。比方说一个Video Agent生成出来的Video Node,它的职责要么是做一个视频混流器,要么是做一个视频转码器,单独运行,独立工作。这样做一方面是进行错误隔离一个部件中产生的异常不会传染影响其他部件,一方面是各个运行时部件可以进行运行时单独进行升级替换。

    2.3 Hierarchy in Media Accessing/Processing


    5.jpg



    第三个原则就是层次化。具体体现在在媒体接入和媒体处理的一些部件的设计和实现上,这些部件在南北(纵)向上面有明确的层次划分,自下而上分为包交互层、帧交互层和内容操作层。以媒体接入部件为例,我们服务器侧系统需要跟各种外围系统和终端进行媒体交互,有的媒体是通过RTP/SRTP包的形式输入、输出,有的媒体是直接以AVStream的行书输出、输出。当媒体进入到我们服务器侧系统内部以后,我们希望有一个统一的格式让它在所有的媒体相关部件之间自由流转,所以我们就定义了统一的MediaFrame格式,所有输入的媒体在媒体接入部件上被组装成MediaFrame。处理MediaFrame的逻辑我们把它放在帧交互层,与客户端进行RTP/SRTP交互的逻辑我们放在包交互层。另外,MediaFrame进入媒体处理部件后,如果涉及到raw格式的操作——譬如合屏、色彩调整、添加水印、替换背景等——我们就把相关逻辑放在内容操作层。

    2.4 Media Pipeline in WebRTC Node


    6.jpg



    设计原则讲起来太枯燥,举两个例子。

    第一个是WebRTC Node中的Pipeline结构。在WebRTCNode上面有一个明确的一个界限,广为人知的一些开源的框架里面有一些SFU框架是直接做RTP包的高级转发,而在我们的解决方案里于所有的外部媒体进入到系统里面会先将它们整理成统一的媒体(帧集的封装)之后在各个结点之间进行传输。除了使得层次分明便于系统横向扩展以外,另外一大好处就是把RTP传输相关的事务都终结在媒体接入部件(节点)上,RTP传输中的丢包、乱序等问题的处理不会扩散到系统其它部件。

    2.5 Media Pipeline in Video Node (Video Mixer)


    7.jpg



    第二个例子是视频混流器内部的Pipeline结构。视频混流的部件在Pipeline上面进出都是视频帧,图上紫颜色的模块进出的都是视频已编码的帧,在视频处理部件的内部可以是一些已编码的帧,也可以是一些Scaler和Convertor。使得各个层次的处理器接口非常清楚,便于做成plugable。

    2.6 Unified Media Spread Model (UMSM)


    8.jpg



    前面我们根据系统的功能性和非功能性需求,把系统拆成了一个个松散的部件。那么,怎么把这些部件捏合到一起成为一个有机的系统呢?特别是针对各个媒体接入部件和媒体处理部件之间的媒体交互,我们需要定义一个统一的内部媒体交互模型——我们称之为UMSM。

    音视频媒体在系统内部流动,我们采用的是一个“发布-订阅”结构的流基本拓扑。如图所示,系统有一个发布者发布一个流进入到系统里,此时有两个订阅者,其中一个订阅者希望订阅发布的原始流的直接转发流,另外一个订阅者希望订阅房间里面所有的原始流合成流合屏以后的mix流,流的发布者和订阅者的PeerConnection连接建立在不同的WebRTC Node上面,通过PeerConnection进入WebRTC Node的SRTP包流,经过解密,被整理封装成MediaFrame(Audioframe/Videoframe),之后再在不同的部件之间进行传递,如果有订阅者需要的是直接转发流,就把它封装好的音频和视频的帧直接扩散到订阅者所连接的WebRTC Node上面来,如果有订阅者需要合成的流(合屏和混音的流),那么就把混流和混音以后的MediaFrame从AudioNode(Audio Mixer)和VideoNode(Video Mixer)扩散到订阅者所连接的WebRTC Node上。

    有了这样一个足够松散的系统内部流扩散结构,无论这些媒体接入部件和媒体处理部件是运行在同一台机器上还是运行在一个数据中心内的不同机器上——甚至运行在位于不同数据中心的不同机器上,都有统一的、一致的流拓扑结构。

    2.7 Media Spread Protocol


    9.jpg



    要实现这样一个流扩散模型,重点要解决两个方面的问题,一个是媒体节点间的传输,另一个是媒体节点的控制。

    媒体节点间的传输是面向连接的,因为扩散链路都可能持续比较长的时间,且一般服务器侧部件的部署环境的网络条件是可控的,有利于保障传输质量。另外每一个连接结点间的扩散链路的连接是双向的,因为有可能两个媒体流的接入结点之间存在双向的扩散,以及与媒体流相关的一些feedback信息需要被反向传递,我们希望它能够复用在同一个扩散链路上面。另外我们需要它是可靠的,在以前跟合作伙伴做技术交流的时候他们对于要求流扩散链路必须是可靠的这一点有疑惑。实际上这是一个实时性和可靠性的取舍问题,我们选择在这个环节保证可靠性,而把实时性推给底层去解决,因为如果要在流扩散链路的所有环节处理信号损失,将给上层逻辑带来巨大的复杂性。

    2.8 MSP - Transport Control Primitives(WIP)

    传输控制就是对于节点间扩散传输链路的控制,目前为了方便在采用的是TCP,在同一数据中心内进行流扩散问题不大,在应用到跨数据中心的部署场景中时,特别是tts和delay比较大的情况下,实际可用的throughput会受比较大的影响,目前仍有一些改进的工作还在进行当中,我们也在调研SCTP和QUIC。

    2.9 MSP - Underlying Transport Protocols(TCP vs.QUIC under weak network)


    11.jpg



    我们在节点间扩散时加一些网损的情况下用TCP和QUIC有做过一些对比测试。QUIC和TCP都是可靠传输,在有网损的时候都会产生一些重传或者是冗余,但是他们不同的拥塞控制策略会对端到端的媒体传递的质量产生不同的影响。我们的对比测试中,发送端是以恒定的码率和帧率(24fps)向服务器侧发送视频流,服务器侧在节点间分别采用TCP和QUIC进行节点间媒体流扩散,图中截取的是相同的网损条件下接收端收到的实际帧率,在5%的丢包和30ms delay时, TCP的帧率就会抖动的非常厉害,在接收端体验就会看到点不流畅,能明显地看到它的卡顿。当加上10%的丢包时波动就跟家剧烈,有时甚至降低到0fps,接收端的用户体验就是非常明的卡顿。相比而言,在QUIC上面还能够看到,接收端的帧率能够更好地坚持在24fps上下,接收端的流畅度更好。总体来看,QUIC是在弱网环境下进行节点间流扩散的一个不错的备选传输。

    2.10 MSP - Media Control Primitives


    12.jpg



    媒体控制的操作对于媒体节点来说,一个publish就是往媒体结点上面发布一路流,给它增加一个input,一个subscribe就是在它上面去增添一个output,linkup就是把一个input和output接续起来,cutoff就把一个input和一个output拆开。对于媒体处理的结点有一些内生的流,generate就是让它产生一路流指定规格(codec、分辨率、帧率、码率、关键帧间隔等),degenerate就是让它取消正在生成中的一个流。

    3.Cross DC Media Spread
    3.1 Cross DC Media Spread:Relay Node (WIP)


    13.jpg



    做TCP和QUIC的对比调研目的就是解决跨数据中心通过Internet进行节点间媒体流扩散的实时性(本质是throughput)问题。由于在跨数据中心媒体扩散的时候需要在Internet上面做流扩散,Internet在传输质量上讲没有在数据中心里的效果那么满意,需要找一些基于UDP改进的可靠传输协议去尝试,我们调研过SCTP和QUIC,总体来看QUIC的表现是相当不错的。

    同时为了减少同一条流在两个数据中心的多个节点间传输,我们增加了一个Relay Agent(Node)的部件,使得同一条流在两个数据中心之间只需要扩散一次。Relay Agent的另一个作用是进行流扩散的时候的路由控制,譬如一个集团公司的很多分支机房并不是BGP的,需要将流汇聚到指定的BGP机房才能更好地向其他地区数据中心扩散。

    3.2 Access Node(Agent) Scheduling


    14.jpg



    在部署了多个接入节点以后,除了通过增加接入节点来扩充系统的scalability,我们还希望能够利用接入节点的不同地理位置给靠近它的终端用户做就近接入。以WebRTC Agent为例,在部署WebRTC Agent的时候可以指定它的capacity(能力),capacity上面有两个标签,一个是isp,一个是region。用户在进行通信连接请求的时候,它带上isp和region的preference(喜好),系统在进行WebRTC Agent调度的时候会对所有可用的WebRTC Agent的capacity与用户指定的preference进行匹配,找到最满意的接入结点,最后达到就近接入的目的。

    在符合preference的候选不止一个时,系统还提供基于work load和历史使用记录进行last-used、least-used、round-robin、random等调度策略,选取符合指定策略的接入节点。

    3.3 CDN alike Service


    15.jpg



    解决了跨数据中心部署的媒体流扩散和调度问题后,我们的解决方案就可以提供更广阔的实时多方音视频通信服务。特别是有了Relay Agent的级联能力后,我们服务器侧系统就可以得到极大的提升,譬如假设单个媒体接入节点的扇出能力是1:1000的话,经过一级级联后就能达到1:100万,经过两级级联后就能达到1:10亿,已经堪比一般CDN的扇出能力了。而CDN的就是本质是一个分布式的cache系统,cache是实时应用的天敌。许多既要求海量扇出比,又要求实时性,并且要随时平滑进行流拓扑切换的场景下,CDN就显得无能为力了,而我们的解决方案将覆盖这些场景,特别是在5G和IoT的时代。

    原文发布于微信公众号 - LiveVideoStack(livevideostack) 收起阅读 »

    Golang实现单机百万长连接服务 - 美图的三年优化经验

    美图长连接服务简介 随着科技的飞速发展,技术的日新月异,长连接的运用场景日益增多。不仅在后端服务中被广泛运用,比较常见的有数据库的访问、服务内部状态的协调等,而且在 App 端的消息推送、聊天信息、直播弹字幕等场景长连接服务也是优选方案。长连接服务的重要性也...
    继续阅读 »
    美图长连接服务简介
    随着科技的飞速发展,技术的日新月异,长连接的运用场景日益增多。不仅在后端服务中被广泛运用,比较常见的有数据库的访问、服务内部状态的协调等,而且在 App 端的消息推送、聊天信息、直播弹字幕等场景长连接服务也是优选方案。长连接服务的重要性也在各个场合被业界专家不断提及,与此同时也引起了更为广泛地关注和讨论,各大公司也开始构建自己的长连接服务。

    6.jpg



    美图公司于2016 年初开始构建长连接服务,与此同时, Go 在编程语言领域异军突起,考虑到其丰富的编程库,完善的工具链,简单高效的并发模型等优势,使我们最终选择 Go 去作为实现长连接服务的语言。在通信协议的选择上,考虑到 MQTT 协议的轻量、简单、易于实现的优点,选择了 MQTT 协议作为数据交互的载体。其整体的架构会在下文中做相应地介绍。

    美图长连接服务(项目内部代号为bifrost )已经历时三年,在这三年的时间里,长连接服务经过了业务的检验,同时也经历了服务的重构,存储的升级等,长连接服务从之前支持单机二十几万连接到目前可以支撑单机百万连接。在大多数长连接服务中存在一个共性问题,那就是内存占用过高,我们经常发现单个节点几十万的长连接,内存却占用十几G 甚至更多,有哪些手段能降低内存呢?

    本文将从多个角度介绍长连接服务在内存优化路上的探索,首先会先通过介绍当前服务的架构模型,Go 语言的内存管理,让大家清晰地了解我们内存优化的方向和关注的重要数据。后面会重点介绍我们在内存优化上做的一些尝试以及具体的优化手段,希望对大家有一定的借鉴意义。

    架构模型

    一个好的架构模型设计不仅能让系统有很好的可扩展性,同时也能在服务能力上有很好的体现。除此之外,在设计上多考虑数据的抽象、模块的划分、工具链的完善,这样不仅能让软件具有更灵活的扩展能力、服务能力更高,也提高系统的稳定性和健壮性以及可维护性。

    在数据抽象层面抽象pubsub 数据集合,用于消息的分发和处理。模块划分层面我们将服务一分为三:内部通讯(grpcsrv)、外部服务(mqttsrv)、连接管理(session)。工具链的方面我们构建了自动化测试,系统 mock ,压测工具。美图长连接服务架构设计如下:图一架构图从架构图中我们可以清晰地看到由7 个模块组成,分别是:conf 、grpcsrv 、mqttsrv、session、pubsub、packet、util ,每个模块的作用如下:


    1.jpg



    conf :配置管理中心,负责服务配置的初始化,基本字段校验。

    grpcsrv :grpc 服务,集群内部信息交互协调。

    mqttsrv :mqtt 服务,接收客户端连接,同时支持单进程多端口 MQTT 服务。

    session :会话模块,管理客户端状态变化,MQTT 信息的收发。

    pubsub :发布订阅模块,按照 Topic 维度保存 session 并发布 Topic 通知给 session。

    packet:协议解析模块,负责 MQTT 协议包解析。

    util :工具包,目前集成监控、日志、grpc 客户端、调度上报四个子模块。

    Go 的内存管理

    众所周知,Go 是一门自带垃圾回收机制的语言,内存管理参照 tcmalloc 实现,使用连续虚拟地址,以页( 8k )为单位、多级缓存进行管理。针对小于16 byte 直接使用Go的上下文P中的mcache分配,大于 32 kb 直接在 mheap 申请,剩下的先使用当前 P 的 mcache 中对应的 size class 分配 ,如果 mcache 对应的 size class 的 span 已经没有可用的块,则向 mcentral 请求。如果 mcentral 也没有可用的块,则向 mheap 申请,并切分。如果 mheap 也没有合适的 span,则向操作系统申请。

    Go 在内存统计方面做的也是相当出色,提供细粒度的内存分配、GC 回收、goroutine 管理等统计数据。在优化过程中,一些数据能帮助我们发现和分析问题,在介绍优化之前,我们先来看看哪些参数需要关注,其统计参数如下:

    go_memstats_sys_bytes :进程从操作系统获得的内存的总字节数 ,其中包含 Go 运行时的堆、栈和其他内部数据结构保留的虚拟地址空间。

    go_memstats_heap_inuse_bytes:在 spans 中正在使用的字节。其中不包含可能已经返回到操作系统,或者可以重用进行堆分配,或者可以将作为堆栈内存重用的字节。

    go_memstats_heap_idle_bytes:在 spans 中空闲的字节。

    go_memstats_stack_sys_bytes:栈内存字节,主要用于 goroutine 栈内存的分配。

    在内存监控中根据Go 将堆的虚拟地址空间划分为 span ,即对内存8K或更大的连续区域进行统计。span 可能处于以下三种状态之一 :

    idle 不包含对象或其他数据,空闲空间的物理内存可以释放回 OS (但虚拟地址空间永远不会释放),或者可以将其转换为使用中或栈空间;

    inuse 至少包含一个堆对象,并且可能有空闲空间来分配更多的堆对象;

    stack span 用于 goroutine 栈,栈不被认为是堆的一部分。span 可以在堆和堆栈内存之间更改,但它从来不会同时用于两者。

    此外有一部分统计没有从堆内存中分配的运行时内部结构(通常因为它们是实现堆的一部分),与堆栈内存不同,分配给这些结构的任何内存都专用于这些结构,这些主要用于调试运行时内存开销。

    虽然Go 拥有了丰富的标准库、语言层面支持并发、内置runtime,但相比C/C++ 完成相同逻辑的情况下 Go 消耗内存相对增多。在程序的运行过程中,它的 stack 内存会随着使用而自动扩容,但在 stack 内存回收采用惰性回收方式,一定程度的导致内存消耗增多,此外还有GC 机制也会带来额外内存的消耗。

    Go 提供了三种内存回收机制:定时触发,按量触发,手动触发。在内存垃圾少量的情况下,Go 可以良好的运行。但是无论采用哪种触发方式,由于在海量用户服务的情况下造成的垃圾内存是巨大的,在 GC 执行过程中服务都会感觉明显的卡顿。这些也是目前长连接服务面对的难题,在下文中我将会逐一介绍我们如何减少和解决问题的产生的具体实践。

    优化之路

    在了解架构设计、Go 的内存管理、基础监控后,相信大家已经对当前系统有了一个大致的认识,先给大家展示一下内存优化的成果,下表一是内存优化前后的对比表,在线连接数基本相同的情况下,进程内存占用大幅度降低,其中 stack 申请内存降低约 5.9 G,其次 heap 使用内存降低 0.9 G,other 申请内存也小幅下降。那么我们是如何做到内存降低的呢?那接下来我将会把我们团队关于进行内存优化的探索和大家聊一聊。


    2.jpg



    在优化前随机抽取线上一台机器进行分析内存,通过监控发现当前节点进程占用虚拟内存为22.3 G,堆区使用的内存占用 5.2 G ,堆区未归还内存为 8.9 G,栈区内存为 7.25 G,其它约占用 0.9 G,连接数为 225 K。

    我们简单进行换算,可以看出平均一个链接占用的内存分别为:堆:23K,栈:32K。通过对比业内长连接服务的数据可以看出单个链接占用的内存偏大,根据监控数据和内存分配原理分析主要原因在:goroutine 占用、session 状态信息、pubsub 模块占用,我们打算从业务、程序、网络模式三个方面进行优化。

    业务优化

    上文中提到 session 模块主要是用于处理消息的收发,在实现时考虑到在通常场景中业务的消息生产大于客户端消息的消费速度的情况,为了缓解这种状况,设计时引入消息的缓冲队列,这种做法同样也有助于做客户端消息的流控。

    缓冲消息队列借助chan 实现 ,chan 大小根据经验将初始化默认配置为 128 。但在目前线上推送的场景中,我们发现,消息的生产一般小于消费的速度,128 缓冲大小明显偏大,因此我们把长度调整为 16 ,减少内存的分配。

    在设计中按照topic 对客户端进行分组管理的算法中,采用空间换时间的方式,组合 map 和 list 两种数据结构对于客户端集合操作提供O(1)的删除、O(1)的添加、O(n)的遍历。数据的删除采用标记删除方式,使用辅助 slice 结构进行记录,只有到达预设阈值才会进行真正的删除。虽然标记删除提高了遍历和添加的性能,但也同样带来了内存损耗问题。

    大家一定好奇什么样的场景需要提供这样的复杂度,在实际中其场景有以下两种情况:

    在实际的网络场景中,客户端随时都可能由于网络的不稳定断开或者重新建联,因此集合的增加和删除需要在常数范围内。

    在消息发布的流程中,采用遍历集合逐一发布通知方式,但随着单个topic 上的用户量的增加,经常会出现单个 topic 用户集合消息过热的问题,耗时太久导致消息挤压,因此针对集合的遍历当然也要求尽量快。

    通过benchamrk 数据分析,在标记回收 slice 长度在 1000 时,可以提供最佳的性能,因此默认配置阈值为 1000。在线上服务中,无特殊情况都是采用默认配置。但在当前推送服务的使用中,发现标记删除和延迟回收机制好处甚微,主要是因为 topic 和客户端为 1 : 1 方式,也就是不存在客户端集合,因此调整回收阈值大小为 2,减少无效内存占用。

    上述所有优化,只要简单调整配置后服务灰度上线即可,在设计实现时通过conf 模块动态配置,降低了服务的开发和维护成本。通过监控对比优化效果如下表,在优化后在线连接数比优化的在线连接更多的情况下, heap 使用内存使用数量由原来的 4.16G 下降到了 3.5G ,降低了约 0.66 G。


    3.jpg



    golang 代码优化

    在实现上面展示的架构的时候发现在session 模块 和 mqttsrv 模块之间存在很多共享变量,目前实现方式都是采用指针或者值拷贝的,由于 session的数量和客户端数据量成正比也就导致消耗大量内存用于共享数据,这不仅仅增加 GC 压力,同样对于内存的消耗也是巨大的。就此问题思考再三,参考系统的库 context 的设计在架构中也抽象 context 包负责模块之间交互信息传递,统一分配内存。此外还参考他人减少临时变量的分配的优化方式,提高系统运行效率。主要优化角度参考如下:

    在频繁申请内存的地方,使用pool 方式进行内存管理

    小对象合并成结构体一次分配,减少内存分配次数

    缓存区内容一次分配足够大小空间,并适当复用

    slice 和 map 采 make 创建时,预估大小指定容量

    调用栈避免申请较多的临时对象

    减少[]byte 与 string 之间转换,尽量采用 []byte 来字符串处理

    目前系统具被完备的单元测试、集成测试,因此经过一周的快速的开发重构后灰度上线监控数据对比如下表:在基本相同的连接数上,heap 使用内存约占用降低 0.27G,stack 申请内存占用降低 3.81G。为什么 stack 会大幅度降低呢?

    通过设置stackDebug 重新编译程序追查程序运行过程,优化前 goroutine 栈的大多数在内存为 16K,通过减少临时变量的分配,拆分大函数处理逻辑,有效的减少触发栈的内存扩容(详细分析见参考文章),优化后 goroutine 栈内存降低到 8 K。一个连接需要启动两个 goroutine 负责数据的读和写,粗略计算一个连接减少约 16 K 的内存,23 w 连接约降低 3.68 G 内存。


    4.jpg



    网络模型优化

    在Go 语言的网络编程中经典的实现都是采用同步处理方式,启动两个 goroutine 分别处理读和写请求,goroutine 也不像 thread ,它是轻量级的。但对于一百万连接的情况,这种设计模式至少要启动两百万的 goroutine,其中一个 goroutine 使用栈的大小在 2 KB 到 8KB, 对于资源的消耗也是极大的。在大多数场景中,只有少数连接是有数据处理,大部分 goroutine 阻塞 IO 处理中。在因此可以借鉴 C 语言的设计,在程序中使用 epoll 模型做事件分发,只有活跃连接才会启动 goroutine 处理业务,基于这种思想修改网络处理流程。

    网络模型修改测试完成后开始灰度上线,通过监控数据对比如下表:在优化后比优化前的连接数多10 K的情况下,heap 使用内存降低 0.33 G,stack 申请内存降低 2.34 G,优化效果显著。


    5.jpg



    总结

    在经过业务优化,临时内存优化,网络模型优化操作后,线上服务保证21w 长连接在线实际内存占用约为 5.1 G。简单进行压测 100w 连接只完成建立连接,不进行其他操作约占用 10 G。长连接服务内存优化已经取得阶段性的成功,但是这仅仅是我们团队的一小步,未来还有更多的工作要做:网络链路、服务能力,存储优化等,这些都是亟待探索的方向。如果大家有什么好的想法,欢迎与我们团队分享,共同探讨。

    bifrost项目目前我们有开源计划,敬请大家期待。

    参考文章

    go tool pprof 使用介绍 :https://segmentfault.com/a/1190000016412013

    Go 内存监控介绍:https://golang.org/src/runtime/mstats.go

    Go 内存优化介绍:https://blog.golang.org/profiling-go-programs

    高性能Go服务内存分配:https://segment.com/blog/allocation-efficiency-in-high-performance-go-services

    Go stack 优化分析:https://studygolang.com/article 收起阅读 »

    【源码下载】一款使用环信SDK实现的开源--社交demo

    React webIm demo简介   --(集成环信SDK) webIm demo 是基于环信sdk开发的一款具有单聊、群聊、聊天室、音视频等功能的应用,为了react用户能够快速集成环信 im sdk和音视频sdk,我们特使用了react全家桶,为大家...
    继续阅读 »
    React webIm demo简介   --(集成环信SDK)

    webIm demo 是基于环信sdk开发的一款具有单聊、群聊、聊天室、音视频等功能的应用,为了react用户能够快速集成环信 im sdk和音视频sdk,我们特使用了react全家桶,为大家提供参考。
    • 同时我们也提供了[Vue版demo]  https://github.com/easemob/webim-vue-demo


    项目截图:



    16df69ea7a91facd.jpg




    16df6a2287ccb151.jpg




    16df6a550a6bd226.jpg




    16df6a87eaa8c068.jpg




    16df6aef07a80553.jpg




    16df6b33eaa4edfd.jpg




    项目地址:https://github.com/easemob/webim 

    开发环境:
    完全基于React + Redux的单向数据流,引入ant-design组件库。 

    响应式布局, 一套Demo同时支持PC和H5,自适应不同终端屏幕尺寸

    支持所有的现代浏览器(不支持IE6-11)

    初始化安装:
    - 在/demo目录下执行  
    npm i
    - 运行demo
    - cd demo && npm start (requires node@>=6) http://localhost:3001注意:只有在https的情况才支持语音视频功能
    - 打包发布demo
    cd demo && npm run build /demo/build 目录下的就是可以运行和部署的版本
    可能遇见的问题:
    1. 如果在npm i的过程中遇到
    > phantomjs-prebuilt@2.1.14 install /Users/will/work/my-project/node_modules/phantomjs-prebuilt> node install.jsPhantomJS not found on PATHDownloading https://github.com/Medium/phantomjs/releases/download/v2.1.1/phantomjs-2.1.1-macosx.zipSaving to /var/folders/mh/2ptfthxj2qb49jscj1b0gjsm0000gn/T/phantomjs/phantomjs-2.1.1-macosx.zipReceiving...Error making request.Error: connect ETIMEDOUT 54.231.113.227:443 at Object.exports._errnoException (util.js:1018:11) at exports._exceptionWithHostPort (util.js:1041:20) at TCPConnectWrap.afterConnect [as oncomplete] (net.js:1090:14)FIX:
    这个问题,可以尝试 PHANTOMJS_CDNURL=https://npm.taobao.org/mirrors/phantomjs/ npm install --save-dev phantomjs-prebuilt 来解决
    2. 执行npm start时如果出现
    > node scripts/start.js/Users/wenke/www/web-im/demo/scripts/start.js:23const { ^SyntaxError: Unexpected token { at exports.runInThisContext (vm.js:53:16) at Module._compile (module.js:373:25) at Object.Module._extensions..js (module.js:416:10) at Module.load (module.js:343:32) at Function.Module._load (module.js:300:12) at Function.Module.runMain (module.js:441:10) at startup (node.js:139:18) at node.js:974:3 FIX: 请检查node版本是否是v6.0+ 
    项目模块
    本项目包含两部分:一部分是项目主模块,这部分主要包含了项目的业务逻辑,比如增,删好友、音视频聊天、信息修改、群设置等
    另一部分是 环信sdk集成(包含音视频sdk)



    16e1ba1c27a529fe.jpg




    src项目结构



    16e1bd9c61944e5f.jpg




    更多关于环信sdk[集成文档]
    http://docs-im.easemob.com/im/web/intro/start 


    参与贡献
    如果你有什么好的想法,或者好的实现,可以通过下边的步骤参与进来,让我们一起把这个项目做得更好,欢迎参与
    1.Fork本仓库
    2.新建feature_xxx分支 (单独创建一个实现你自己想法的分支)
    3.提交代码
    4.新建Pull Request
    5.等待我们的Review & Merge
    收起阅读 »

    【源码下载】一款使用环信SDK实现的开源--社交demo

    React webIm demo简介   --(集成环信SDK) webIm demo 是基于环信sdk开发的一款具有单聊、群聊、聊天室、音视频等功能的应用,为了react用户能够快速集成环信 im sdk和音视频sdk,我们特使用了re...
    继续阅读 »
    React webIm demo简介   --(集成环信SDK)

    webIm demo 是基于环信sdk开发的一款具有单聊、群聊、聊天室、音视频等功能的应用,为了react用户能够快速集成环信 im sdk和音视频sdk,我们特使用了react全家桶,为大家提供参考。

    同时我们也提供了[Vue版demo]  (https://github.com/easemob/webim-vue-demo)。

    项目截图:


    16df69ea7a91facd.jpg




    16df6a2287ccb151.jpg




    16df6a550a6bd226.jpg




    16df6a87eaa8c068.jpg




    16df6aef07a80553.jpg




    16df6b33eaa4edfd.jpg



    项目地址:https://github.com/easemob/webim


    开发环境

    完全基于React + Redux的单向数据流,引入ant-design组件库。 

    响应式布局, 一套Demo同时支持PC和H5,自适应不同终端屏幕尺寸

    支持所有的现代浏览器(不支持IE6-11)




    初始化安装
    - 在/demo目录下执行  
    npm i

    - 运行demo
    - cd demo && npm start (requires node@>=6

    http://localhost:3001
    - cd demo && HTTPS=true npm start (webrtc supports HTTPS only)

    https://localhost:3001

    注意:只有在https的情况才支持语音视频功能
     

    打包发布demo
    cd demo && npm run build 
    /demo/build 目录下的就是可以运行和部署的版本


    可能遇见的问题:

    1. 如果在npm i的过程中遇到
    > phantomjs-prebuilt@2.1.14 install /Users/will/work/my-project/node_modules/phantomjs-prebuilt> node install.jsPhantomJS not found on PATHDownloading https://github.com/Medium/phantomjs/releases/download/v2.1.1/phantomjs-2.1.1-macosx.zipSaving to /var/folders/mh/2ptfthxj2qb49jscj1b0gjsm0000gn/T/phantomjs/phantomjs-2.1.1-macosx.zipReceiving...Error making request.Error: connect ETIMEDOUT 54.231.113.227:443    at Object.exports._errnoException (util.js:1018:11) at exports._exceptionWithHostPort (util.js:1041:20) at TCPConnectWrap.afterConnect [as oncomplete] (net.js:1090:14)

    FIX: 这个问题,可以尝试 PHANTOMJS_CDNURL=https://npm.taobao.org/mirrors/phantomjs/ npm install --save-dev phantomjs-prebuilt 来解决

    2. 执行npm start时如果出现
    > node scripts/start.js/Users/wenke/www/web-im/demo/scripts/start.js:23const { ^SyntaxError: Unexpected token { at exports.runInThisContext (vm.js:53:16) at Module._compile (module.js:373:25) at Object.Module._extensions..js (module.js:416:10)    at Module.load (module.js:343:32) at Function.Module._load (module.js:300:12) at Function.Module.runMain (module.js:441:10) at startup (node.js:139:18) at node.js:974:3

    FIX: 请检查node版本是否是v6.0

    项目模块

    本项目包含两部分:
    一部分是项目主模块,这部分主要包含了项目的业务逻辑,比如增,删好友、音视频聊天、信息修改、群设置等

    另一部分是 环信sdk集成(包含音视频sdk)



    16e1ba1c27a529fe.jpg



    src项目结构


    16e1bd9c61944e5f.jpg




    更多关于环信sdk[集成文档]
    http://docs-im.easemob.com/im/web/intro/start




    参与贡献
    如果你有什么好的想法,或者好的实现,可以通过下边的步骤参与进来,让我们一起把这个项目做得更好,欢迎参与
    1.Fork本仓库
    2.新建feature_xxx分支 (单独创建一个实现你自己想法的分支)
    3.提交代码
    4.新建Pull Request
    5.等待我们的Review & Merge


    最后的最后如果你有更好的建议,或者你的疑惑,请随时给我留言。

      收起阅读 »

    获取好友列表总是失败呢,type=16

          明明是先登陆,后监听,再是获取好友列表。怎么会先执行第三步呢?


    1.png


     


    2.png


     
     
    明明是先登陆,后监听,再是获取好友列表。怎么会先执行第三步呢?

    webim 怎么样输出最近联系人到h5页面

    webim 怎么样输出最近联系人到h5页面
    webim 怎么样输出最近联系人到h5页面

    客服云 查看有哪些会话在待接入排队过

                                                            查看有哪些会话在待接入排队过   (管理员模式--会话统计--排队统计)可以查看该报表,此报表为增值功能,标准版坐席没有,需要单独联系商务经理开通...
    继续阅读 »
                                                            查看有哪些会话在待接入排队过 
     (管理员模式--会话统计--排队统计)可以查看该报表,此报表为增值功能,标准版坐席没有,需要单独联系商务经理开通
    文档:
    http://docs.easemob.com/cs/200admin/90statistics#%E6%8E%92%E9%98%9F%E7%BB%9F%E8%AE%A1
    另外该 报表中的排队次数,可以点击该数量之后弹窗显示相关会话数据


    排队报表5-1.png




    排队报表5-2.png


    相关会话可以导出后查看具体信息
    弹窗列表显示的 数据:
    客服一列(如果排队的会话被客服接起这里会显示接待的客服,如果没有任何一个客服接入过直接被关闭的显示为空)
    开始时间(表示客服接入或者转入会话的时间,如果没有被客服接入过,显示为空)
    会话标签(如果没有打过标签,此处也为空) 收起阅读 »

    客服云 查看IM用户上传推送证书

                                                    进入appkey console后台查看已注册用户 上传推送证书 ****1.快速创建的关联 切换到管理员模式--渠道管理---手机APP  APP信息页面点...
    继续阅读 »
                                                    进入appkey console后台查看已注册用户 上传推送证书
    ****1.快速创建的关联
    切换到管理员模式--渠道管理---手机APP 
    APP信息页面点击 蓝色字体  直接登录IM关联后台,可以进入快速创建的关联后台,点击appkey后可查看IM用户和证书信息

    29-1进入关联后台.png




    29-2进入关联后台.png




    29-3进入关联后台.png


    ****2.手动绑定的管理 需要单独登录IMconsole后台查看
    IMconsole后台登录地址:
    https://console.easemob.com/user/login  收起阅读 »

    IM 和 客服 并存开发指南—iOS篇

     如果觉得哪里描述的不清晰,可评论内指出,会不定期更新。  一、SDK 介绍       HelpDesk.framework 为 客服SDK(带实时音视频)       HelpDeskLite.framework 为 客服SDK(不带实时音视频)    ...
    继续阅读 »
     如果觉得哪里描述的不清晰,可评论内指出,会不定期更新。

     一、SDK 介绍
          HelpDesk.framework 为 客服SDK(带实时音视频)
          HelpDeskLite.framework 为 客服SDK(不带实时音视频)
          Hyphenate.framework 为 IM SDK(带实时音视频)
          HyphenateLite.framework 为 IM SDK(不带实时音视频)
          环信客服SDK 基于 IM SDK 3.x , 如果同时集成 客服 和 IM,只需要在初始化、登录、登出操作时使用客服SDK 提供的相应API,IM 的其他API均不受影响。
          UI 部分集成需要分别导入 HelpDeskUI 和 IM demo 中的UI文件(也可以自定义UI)。 下面详细介绍IM 和 客服共存的开发步骤。

    二、注意事项
          1、开发过程中,初始化、登录和登出,务必只使用客服访客端SDK的API。
          2、需要联系商务开通客服长连接。
               不开通长连接,会出现用户长时间(一天或几天)不使用app,再打开app会无法正常使用im相关功能的问题,报错信息一般是User is not login。
          3、IM SDK 和客服SDK 都包括了模拟器的CPU 架构,在上传到app store时需要剔除模拟器的CPU 架构,保留  armv7、arm64,参考文档:上传appstore以及打包ipa注意事项。 

    三、资源准备
          到环信官网下载客服访客端的开源的商城Demo源码 + SDK,下载链接:http://www.easemob.com/download/cs  选  择“iOS SDK”下载(如下图)。
          

    下载客服.png


          到环信官网下载IM的开源的Demo源码 + SDK ,下载链接:http://www.easemob.com/download/im 选择 iOS SDK(如下图)。
          

    下载IM.png



    下载的 IM SDK+Demo 和 客服SDK+Demo 中都有 IM 的 Hyphenate.framework 或 HyphenateLite.framework,为了保持版本的匹配,我们只使用 IM Demo 中的 UI, 而不使用 IM SDK 中 的 Hyphenate.framework 或 HyphenateLite.framework 文件。

    四、集成步骤
          1、阅读客服访客端SDK集成文档,集成客服,地址:http://docs.easemob.com/cs/300visitoraccess/iossdk。 
          2、阅读 IM 的集成文档,地址:http://docs-im.easemob.com/im/ios/sdk/prepare 
          3、将 IM Demo 中的 UI 文件按照自己的需求分模块导入到工程中
          4、将 IM 的 UI 所依赖的第三方库集成到项目中(IM集成文档内有说明)
          5、在pch文件中引入 EMHeaders.h 
              #ifdef __OBJC__ 
                //包含实时音视频功能 
                #import  
                // 若不包含实时音视频,则替换为 
                // #import  
                #import "HelpDeskUI.h" 
                #import "EMHeaders.h" 
             #endif
          6、由于HelpDeskUI 和 IM UI 中都使用了 第三方库,如果工程中出现三方库重复的问题,可将重复文件删除,如果部分接口已经升级或弃用可自行升级、调整。

    提供的兼容Demo介绍:
         1、Demo集成了初始化sdk、登录、退出登录、IM单聊、联系客服的简单功能,处理了第三方库冲突的问题。
         2、pch文件中的appkey等信息需要换成开发者自己的。
         3、Demo源码下载地址: https://pan.baidu.com/s/1v1TUl-fqJNLQrtsJfWYGzw 
             提取码: kukb  收起阅读 »

    客服云配置机器人自定义菜单

                                                                       设置机器人自定义菜单 1》管理员模式---智能机器人 新建机器人 2》管理员模式----设置----会话分配规则  ...
    继续阅读 »
                                                                       设置机器人自定义菜单
    1》管理员模式---智能机器人 新建机器人

    1-1设置机器人自定义菜单.png


    2》管理员模式----设置----会话分配规则  渠道指定,添加访客发起会话的渠道(例如APP和网页),全天指定机器人

    1-2设置机器人自定义菜单.png


     
         修改路由规则后,需要在管理员模式--当前会话  手动关闭旧会话,新会话才能重新调度
    3》 企业版机器人:管理员模式---智能机器人  点击【机器人管理】,新页面跳转到企业版机器人管理平台  
         知识管理模块----菜单管理
        旧版机器人:管理员模式--智能机器人  点击自定义菜单页签

    1-3设置机器人自定义菜单.png




    1-4设置机器人自定义菜单.png




    1-5设置机器人自定义菜单.png




    1-6设置机器人自定义菜单.png




    1-7设置机器人自定义菜单.png


     
    4》机器人的自定义菜单需要设置为默认回复或者欢迎语才能触发
    以下是设置为默认回复:点击蓝色 添加默认回复按钮,选择类型为菜单

    1-8设置机器人自定义菜单.png




    1-9设置机器人自定义菜单.png




    1-10设置机器人自定义菜单.png


     
    以下是配置为机器人的欢迎语

    1-11设置机器人自定义菜单.png



     
    点击蓝色添加按钮,同样选择为菜单类型,选择刚创建的自定义菜单,最后保存(注意设置为机器人欢迎语后:只有网页会生效显示,APP需要单独代码集成,微信和微博不支持机器人欢迎语)

    1-12设置机器人自定义菜单.png




    1-13设置机器人自定义菜单.png


     
    注意:如果新建自定义菜单的时候只新建了菜单名,没有设置菜单项,上图界面是无法点击保存按钮的。需到自定义菜单页面给菜单添加菜单项。

    1-14设置机器人自定义菜单.png




    1-15设置机器人自定义菜单.png


     
    以上是配置好的截图,就可以发起新会话测试了
    5》测试:以下是网页测试截图 
    h5链接在:管理员模式--渠道管理-网站 接入方式  页面 ,点击直接打开h5链接按钮即可

    1-16设置机器人自定义菜单.png


     
     附:企业版机器人基础配置文档:http://docs-ai.easemob.com/cs/preliminary    
            客服系统旧版机器人文档:http://docs.easemob.com/cs/200admin/40robot#%E6%99%BA%E8%83%BD%E6%9C%BA%E5%99%A8%E4%BA%BA
      收起阅读 »

    客服云访客发送订单或者轨迹消息后不展示

                                                      访客端发送订单或者轨迹消息后不显示 默认是发送后访客端删除本条消息,可以修改  Android ChatrowOrder 查找removeMessage ...
    继续阅读 »
                                                      访客端发送订单或者轨迹消息后不显示
    默认是发送后访客端删除本条消息,可以修改 
    Android
    ChatrowOrder 查找removeMessage

    24-1访客端发送订单轨迹后不显示.png



    网页修改   
    管理员模式--设置--系统开关 访客端同步展示轨迹消息 开关打开

    24-2访客端发送订单轨迹后不显示.png


      收起阅读 »

    客服云自定义角色权限

    ****1.新建自定义角色 管理员模式----设置---权限管理 页面右上角 添加角色 需要填写角色名称,角色权限 分为两大类:管理员模式 和客服模式 这两种模式的展开项分别对应两种模式下的所有功能模块(按需勾选)  以下操作以新建一个角色权限为:...
    继续阅读 »
    ****1.新建自定义角色
    管理员模式----设置---权限管理 页面右上角 添加角色

    30-1自定义角色权限.png



    需要填写角色名称,角色权限 分为两大类:管理员模式客服模式
    这两种模式的展开项分别对应两种模式下的所有功能模块(按需勾选)
     以下操作以新建一个角色权限为:客服模式下所有功能,管理员模式下只有质检功能 为例:
       **第一:客服模式根目录直接勾选

    30-2自定义角色权限.png


       **第二:管理员模式  点击 展示所有功能模块,只需要勾选 质检功能的3个复选框

    30-3自定义角色权限.png


           同时可以规则新角色的数据权限:租户或者客服

    30-6自定义角色权限(改数据权限).png



     
       **第三:最后操作保存(tips:创建的自定义角色不能超过20个)
    ****2.给客服修改权限
    管理员模式---成员管理--客服 
    进入客服列表页面,选择要修改的客服,选项 一列点击编辑按钮

    30-4自定义角色权限.png


     
    弹出客服信息修改对话框,滑动到底部
    修改角色,最后保存

    30-5自定义角色权限.png


     
    客服如果是登录状态,会自动给客服发送通知,客服需重新登录系统,新角色权限可以生效。 收起阅读 »

    客服云启用坐席

                                                                                             启用坐席 1》管理员可以启用或禁用其他管理员和客服账户。一个租户下,在同一时间,最...
    继续阅读 »
                                                                                             启用坐席
    1》管理员可以启用或禁用其他管理员和客服账户。一个租户下,在同一时间,最大启用数即为该租户的“购买坐席数”。
    注:可以进入“管理员模式 > 设置 > 企业信息”页面,查看您的租户的“购买坐席数”和“账户到期日”。 
    2》如果您的租户只购买了一个坐席,就只能使用当前管理员账号,不能操作禁用当前启用其他账号,一个租户至少 得有一个管理员权限的账号
    3》管理员账号也占用一个坐席,可以切换到客服模式接会话
    管理员模式--成员管理--客服列表 账户启用一列 可以启用或者禁用坐席账号(见下图)

    9-1启用坐席.png


      收起阅读 »

    客服云 配置机器人接会话

    ****管理员模式--智能机器人 新建机器人,从机器人信息页面,点击蓝色字体:机器人管理,可跳转到机器人操作平台 ****管理员模式----设置----会话分配规则  渠道:添加访客发起会话的渠道,可修改为全天机器人接入 ***...
    继续阅读 »
    ****管理员模式--智能机器人 新建机器人,从机器人信息页面,点击蓝色字体:机器人管理,可跳转到机器人操作平台

    28-1配置机器人接会话.png



    ****管理员模式----设置----会话分配规则  渠道:添加访客发起会话的渠道,可修改为全天机器人接入

    28-2配置机器人接会话.png


    ****跳转到机器人平台添加知识规则或自定义菜单
    1》添加知识规则

    28-3配置机器人接会话.png



    2》添加自定义菜单

    28-4配置机器人接会话.png


     
    注意:添加自定义菜单后,需要将该自定义菜单设置为机器人 的默认回复才可能触发(添加默认回复,选择为菜单类型,之后选择刚新建的自定义菜单,最后保存)

    28-5配置机器人_接会话.png




         更多机器人配置文档参见
    http://docs-ai.easemob.com/cs/preliminary#%E5%9F%BA%E7%A1%80%E6%93%8D%E4%BD%9C
    ****发起会话测试
    修改路由规则的配置后,新会话才能生效。可以先到管理员模式--当前会话手动关闭旧会话, 新会话测试

    28-6配置机器人接会话.png


      收起阅读 »

    客服云 修改语言

    *****修改客服系统语言********   客服系统切换语言(支持中英文切换) 1.登录的时候 浏览器打开 https://kefu.easemob.com/ 界面右上角可以切换语言 2.如果是已登录状态,切换到客服模式 客服模式--客服信息...
    继续阅读 »
    *****修改客服系统语言********
      客服系统切换语言(支持中英文切换)

    1.登录的时候
    浏览器打开 https://kefu.easemob.com/
    界面右上角可以切换语言

    27-1修改语言.png



    2.如果是已登录状态,切换到客服模式
    客服模式--客服信息 语言一栏可以切换,最后需点击右下角保存

    27-2修改语言.png


    *********************************************************************
    ************网页集成切换到英文**************
    webim 后面添加/en-US/

    27-3修改语言.png



    切换后界面如下

    27-4修改语言.png


      收起阅读 »

    客服云网页下班留言配置

                                                                                  网页下班留言配置 网页渠道:如果下班时间的路由规则是指定的技能组,可以从网页插件页面配置 下班时间让访...
    继续阅读 »
                                                                                  网页下班留言配置
    网页渠道:如果下班时间的路由规则是指定的技能组,可以从网页插件页面配置 下班时间让访客直接进入留言界面,这样下班时间访客无法发起会话,只能提交留言(注意:网页端访客暂时无法收到客服和管理员对留言的评论,需要通过电话或邮箱联系访客。 )
    如需修改,客服系统 切换到管理员模式--渠道管理--网站 --- 功能设置页签,找到 下班留言配置:可修改为 展示默认消息或进入聊天窗,最后保存。访客端需重新加载页面


    26-1网页下班留言配置.png


      收起阅读 »

    客服云 访客发送的消息客服系统看不到排查

                                  访客发送的消息客服系统看不到 1. 先到 管理员模式--搜索  点击消息按钮,输入访客发送的消息内容 查询看下,默认是搜索的近7天的消息,如果时间不在7天内,可以重新点击筛选排序,放大时间范围筛选 。...
    继续阅读 »
                                  访客发送的消息客服系统看不到
    1. 先到 管理员模式--搜索  点击消息按钮,输入访客发送的消息内容 查询看下,默认是搜索的近7天的消息,如果时间不在7天内,可以重新点击筛选排序,放大时间范围筛选 。若可以查询到,点击会话后查看是哪一个客服接入的

    22-1访客发送的消息客服系统看不到.png


    如果直接无法看到是哪一个客服接入的,复制会话ID 到历史会话 ID一栏,查询出具体会话,点击进入会话详情页,看右侧记录一栏的数据,可以看出是哪一个客服接入的没有回复造成的

    22-2访客发送的消息客服系统看不到.png



    注:如果是该客服没有上线造成的没有回复消息。需要客服前一天退出登录前手动关闭自己进行中所有会话,这样才能保证新会话能自动调度给上线的客服
    也可以通过配置 不活跃会话超时结束 或 访客超时未回复结束会话实现关闭会话(管理员模式--设置--系统开关 页面
    2.排查访客是否被加入黑名单
    管理员模式---客户中心--客户信息 黑名单列表可以查看。
    黑名单中的客户可以再次发送消息,但系统不会为其创建会话;客户被移除黑名单后,再次发送消息时可以成功创建会话。 
    如果用户是在黑名单中,可以先移除黑名单后再测试。

    22-3访客发送的消息客服系统看不到.png



    3. 看 是否达到了待接入上限
       待接入上限:每个租户如果坐席数量 小于等于5,允许的最大待接入会话数为1000,如果某个租户下坐席数超过5个,则该租户的最大待接入会话数为坐席数x200。
      待接入会话数超过上限后,不允许访客创建新的会话。
       管理员模式--待接入 模块可以查看排队的会话量
       

    待接入.png


     
    如果仍无法解决,可以工作时间登录客服系统,切到管理员模式 --右上角 技术支持--联系客服 发起会话咨询。 收起阅读 »

    客服云查看会话满意度评价

                                                                              查看会话的满意度评价 两种情况:查看具体某一个会话的评分或者是查看系统对所有会话评分的统计结果 1》查看具体...
    继续阅读 »
                                                                              查看会话的满意度评价
    两种情况:查看具体某一个会话的评分或者是查看系统对所有会话评分的统计结果
    1》查看具体某一个会话的评分
    结束的会话才能到历史会话看评分。先把会话关闭掉,之后可以到管理员模式---历史会话模块,列表直接有评分一列的数据。如果列表不显示关闭的会话,可以点击右上角筛选排序,重新指定条件筛选出会话(可选择按会话结束时间筛选)

    查看评价19-1.png


    或者点击一个会话,进入会话详情页,看右侧指标一栏(如下图)

    查看评价19-2.png



    2》查看系统对会话的评价总统计结果
    管理员模式--会话统计--工作质量 页面,页面顶部的满意度评分是系统的会话评价统计,页面底部是对每一个客服服务的评分统计(见下图)

    查看评价19-3.png




    查看评价19-4.png


      收起阅读 »

    客服云 客服管理操作

    1》添加客服 管理员模式--成员管理--客服 右上角 添加客服按钮 添加时可以设置 客服账号邮箱密码、昵称、最大接待人数、权限等信息。如果需要重置坐席密码也可在此页面操作。 2》修改客服状态 管理员可以修改客服或其他管理员的在线状态,支持在...
    继续阅读 »
    1》添加客服
    管理员模式--成员管理--客服 右上角 添加客服按钮
    添加时可以设置 客服账号邮箱密码、昵称、最大接待人数、权限等信息。如果需要重置坐席密码也可在此页面操作。

    客服操作17-1.png


    2》修改客服状态
    管理员可以修改客服或其他管理员的在线状态,支持在空闲、忙碌、隐身、离开状态之间切换。在客服列表中点击“在线状态”一列的下拉按钮,修改客服的在线状态。
    注:若客服离线,则不可强行修改其状态为在线。暂不支持自定义角色修改管理员或客服的在线状态。

    客服操作17-2.png


     
    3》设置客服最大接待人数
    最大接待人数可以由管理员统一操作也可以由每一个客服自行调整自己的数量(二者只能选其一)
     ----1---统一由管理员调整
    管理员模式--设置--系统开关 客服自定义最大接待人数 需要关闭。之后管理员在 成员管理--客服 页面点击编辑按钮,弹窗后可以修改客服的最大接待人数 ,最后保存

    设置客服最大接待人数18-1.png



    ----2---每一个客服自行修改自己的最大接待人数
    管理员模式--设置--系统开关 客服自定义最大接待人数 需要开启。修改后客服模式 最大接待人数为可调状态

    设置客服最大接待人数18-2.png


     
    客服更多配置操作参见以下文档:
    http://docs.easemob.com/cs/200admin/20teammgm#%E5%AE%A2%E6%9C%8D%E7%AE%A1%E7%90%86 收起阅读 »

    客服云配置系统自动结束会话

                                                                       配置系统自动结束会话 注意:修改配置后针对新创建的会话生效,旧会话还是需要手动关闭 1》机器人名下的会话自动结束配置: ...
    继续阅读 »
                                                                       配置系统自动结束会话
    注意:修改配置后针对新创建的会话生效,旧会话还是需要手动关闭
    1》机器人名下的会话自动结束配置:
            管理员模式---智能机器人 会话超时设置页签 
    可以设置超时时间和超时提示语
    可以设置超时时间(1~30分钟)和1~5条超时回复。当访客超过设定时间仍没有回复消息时,机器人将随机从超时回复中选择1条回复访客,1分钟后访客仍没有回复,会话将被自动结束。 

    系统自动结束会话15-1.png


     
    2》人工客服名下的会话自动结束配置
            i. 会话在待接入排队的情况 
                管理员模式--设置--系统开关 待接入超时结束会话

    系统自动结束会话15-2.png


     
           ii.会话由人工客服接入的情况(在人工客服的进行中会话列表)
               管理员模式--设置--系统开关 访客超时未回复自动结束会话                不活跃会话超时自动结束 两个配置项

    系统自动结束会话15-3.png




    系统自动结束会话15-4.png



    注意:如果同时打开了“访客超时未回复自动结束会话”和“不活跃会话超时自动结束”开关,当满足任意开关的超时条件时,会话将会被自动结束。
    配置文档可参考以下链接
    http://docs.easemob.com/cs/200admin/50settings#%E8%AE%BF%E5%AE%A2%E8%B6%85%E6%97%B6%E6%9C%AA%E5%9B%9E%E5%A4%8D%E8%87%AA%E5%8A%A8%E7%BB%93%E6%9D%9F%E4%BC%9A%E8%AF%9D
    注意:修改配置后针对新创建的会话生效,旧会话还是需要手动关闭
     
     
      收起阅读 »

    客服云问候语配置

                                                                 问候语的配置 (注意:问候语只有上班时间才会 自动发送,下班时间不会触发,上班时间是走的时间计划页面的配置) 客服系统可以同时配置三种...
    继续阅读 »
                                                                 问候语的配置
    (注意:问候语只有上班时间才会 自动发送,下班时间不会触发,上班时间是走的时间计划页面的配置)
    客服系统可以同时配置三种问候语:企业问候语 技能组问候语 客服问候语三种,触发条件不同

    1.  企业问候语(管理员模式--设置--系统开关 企业问候语):当访客发送首条消息后,收到系统自动发送的企业问候语。

    问候语配置14-1.png



    2.技能组问候语(管理员模式--成员管理--在线技能组 基础设置 技能组问候语):会话调度给某个技能组后会触发该技能组的问候语

    问候语配置14-2.png


    3.客服问候语(客服模式--客服信息 客服问候语 每一个客服配置自己的问候语):会话成功分配或转接给当前客服/管理员时,访客会收到系统自动发送的客服问候语

    问候语配置14-3.png


    如果同时配置三个,可能都会触发。根据需求配置即可,一般情况只需要配置企业问候语。其他的不使用可以把对应开关关闭 收起阅读 »

    客服云机器人转人工配置

                                           机器人转人工配置  1》旧版机器人:      管理员模式--智能机器人 自动回复--转人工设置。      可以规定转人工时间(全时间段允许 全时间段禁止 自定义时间<...
    继续阅读 »
                                           机器人转人工配置 
    1》旧版机器人
         管理员模式--智能机器人 自动回复--转人工设置。
         可以规定转人工时间(全时间段允许 全时间段禁止 自定义时间<仅上班 或者仅下班允许转接>)
         配置限制转接提示语
    指定转人工技能组(如果是不指定,会话是转接到未分组。如果要实现机器人转接不同的技能组,此处选择为不指定,之后配合 会话分配规则页面的 关联指定 来实现机器人转接到不同技能组)


    机器人转人工配置11-1.png




    机器人转人工配置11-2.png




    2》企业版机器人转人工配置
        1)管理员模式--智能机器人 点击机器人信息页面的蓝色字体 机器人管理 进入到机器人平台


    机器人转人工配置11-3.png



        2)

    机器人转人工配置11-4.png


    上图是配置转人工时间段和指定技能组的
    机器人设置模块--转人工设置 
    默认情况可以把转人工指令和转人工意图开启即可


    机器人转人工配置11-5.png


    转人工指令可以自定义修改,默认的指令有:
    中文:转人工、转坐席、转人工客服、转人工坐席、转人工服务;英文:chat with agent
       企业版机器人的转人工更多配置可以参见以下文档:
    http://docs-ai.easemob.com/cs/900help#%E8%AE%BE%E7%BD%AE%E6%9C%BA%E5%99%A8%E4%BA%BA%E8%BD%AC%E4%BA%BA%E5%B7%A5 收起阅读 »

    客服云在线技能组配置

                                                技能组操作 设置技能组下班提示语            管理员模式--成员管理--在线技能组 切换到基础设置页签            有技能组下班提示语 开关(需要...
    继续阅读 »
                                                技能组操作
    1. 设置技能组下班提示语 

              管理员模式--成员管理--在线技能组 切换到基础设置页签 
              有技能组下班提示语 开关(需要 打开)配置下班提示语,最后保存(见下图)
              如果下班时间路由规则直接指定技能组,下班时间访客发起会话时,系统自动发送下班提示语给访客

    技能组操作10-1.png


          2.配置技能组问候语
            同上界面,基础设置页签 有问候语开关 需要打开,配置问候语,最后保存(注:问候语只有上班时间才会发送下班时间不会发送。这里的上班时间是时间计划页面的配置)

           更多技能组配置可以参见以下文档:
    http://docs.easemob.com/cs/200admin/20teammgm#%E6%8A%80%E8%83%BD%E7%BB%84%E7%AE%A1%E7%90%86
      收起阅读 »

    客服云 客服发送知识库附件

                                                               客服发送知识库中附件给访客 发送知识时,图文消息仅包含知识标题和知识内容,不包含知识的附件。若发送知识中的附件,需打开知识详情,并点击附件右...
    继续阅读 »
                                                               客服发送知识库中附件给访客
    发送知识时,图文消息仅包含知识标题和知识内容,不包含知识的附件。若发送知识中的附件,需打开知识详情,并点击附件右上角的“发送”按钮。


    发送知识库附件6-1.png


    设置知识库附件发送个访客的方式:
    管理员模式--知识库  点击发送方式设置按钮


    发送知识库附件6-2.png




    发送知识库附件6-3.png


      收起阅读 »

    客服云待接入会话不自动分配

                                                                   待接入不自动分配问题          查看待接入列表的数据(管理员模式---待接入 可以看到租户所有的待接入数据)  ...
    继续阅读 »
                                                                   待接入不自动分配问题
             查看待接入列表的数据(管理员模式---待接入 可以看到租户所有的待接入数据) 

    待接入不自动分配4-1.png


            看截图框选 技能组和 坐席名两列的数据
     i..如果坐席名列有数据,例如截图中第一条,说明有指定客服,需要保证指定的坐席上线后系统才能自动调度给该指定的客服
    ii..如果坐席名一列没有数据,看技能组一列显示的技能组名称
    之后对照到 (管理员模式--成员管理--在线技能组 ) 查看该技能组内客服状态分布
    需要保证技能组内有 空闲状态的客服同时该客服的进行中会话数量不能超过最大接待人数

    待接入不自动分配4-2.png



    例如上图,是因为技能组内没有空闲的客服存在
         解决:
    让该客服调整状态为空闲
    如果仍不能自动调度,查看该空闲客服的当前进行中会话是否达到最大接待量(最大接待量不能是0)

    待接入不自动分配4-3.png


    客服的进行中会话数量可以到(管理员模式--当前会话 右上角 指定客服筛选看数量,对比进行中和最大接待量)

    待接入不自动分配4-4.png


    如果是因为超过最大接待量导致的,需要该客服手动关闭部分进行中会话,使其数量小于最大接待量
    注意:另外后续不想客服手动关闭,可以配置系统自动结束会话
    可以到  管理员模式----设置--系统开关 页面  
       访客超时未回复自动结束会话
       不活跃会话超时自动结束。配置后针对的是新会话生效,旧会话还是需要手动结束

    配置文档:
    http://docs.easemob.com/cs/200admin/50settings#%E8%AE%BF%E5%AE%A2%E8%B6%85%E6%97%B6%E6%9C%AA%E5%9B%9E%E5%A4%8D%E8%87%AA%E5%8A%A8%E7%BB%93%E6%9D%9F%E4%BC%9A%E8%AF%9D



    如果按照上述条件均排查都符合正常,可以看下不会自动调度的时间是非工作时间,有个系统开关控制 
    (管理员模式--设置--系统开关 只有技能组的上班时间才自动分配会话)如果是开启需要关闭可解决不自动调度的问题

    待接入不自动分配4-5.png


     如果是是工作时间的会话没有自动调度,确认下如果客服坐席使用的手机APP工作台登录,需要把  管理员模式---设置--系统开关页面  分配会话时检测坐席在线状态  这个配置开关要关闭

    检测.png


    如果仍无法解决,可以在工作时间发起会话联系在线客服咨询解决。
        需要登录客服系统,切换到管理员模式 之后点击右上角技术支持,发起会话即可。

        登录客服云地址:https://kefu.easemob.com 收起阅读 »

    客服云代码指定客服

                                              代码指定客服(APP,网页渠道都可以实现) 1》注意:代码指定针对新会话生效,需要到(管理员模式--当前会话) 手动关闭旧会话,访客端发起新会话测试 指定客服说明: 指定...
    继续阅读 »
                                              代码指定客服(APP,网页渠道都可以实现)
    1》注意:代码指定针对新会话生效,需要到(管理员模式--当前会话) 手动关闭旧会话,访客端发起新会话测试

    • 指定客服说明:

    • 指定客服之后,若指定客服在线,不受接待量和状态的限制(无论什么状态,无论接待量是多少),都直接分配给该客服

    • 指定客服之后,若指定客服不在线,有个灰度功能可以控制客服不在线时,会话是否分配给客服

    • 开关关闭时,客服不在线,则会话在待接入中排队(开关默认为关闭状态)

    • 开关开启时,客服不在线,则会话直接分配给该坐席

    • 开关为灰度功能,客户不能自己控制,需要联系环信开通,开通功能联系商务即可


    2》相关代码 安卓文档:
    http://docs.easemob.com/cs/300visitoraccess/androidsdk#%E6%8C%87%E5%AE%9A%E5%AE%A2%E6%9C%8D
    ios:
    http://docs.easemob.com/cs/300visitoraccess/iossdk#%E6%8C%87%E5%AE%9A%E6%9F%90%E4%B8%AA%E5%AE%A2%E6%9C%8D
    网页(h5链接)
    http://docs.easemob.com/cs/300visitoraccess/web-widget#%E6%8C%87%E5%AE%9A%E5%AE%A2%E6%9C%8D1
    网页(引入js)
    http://docs.easemob.com/cs/300visitoraccess/web-widget#%E6%8C%87%E5%AE%9A%E5%AE%A2%E6%9C%8D 

         参数中的客服账号可以到(管理员模式--成员管理--客服 列表)邮箱一列数据 为指定的客服账号


    代码指定客服3-1.png


      
       验证方法: 如果某一个会话没有生效,先手动关闭掉,之后到到管理员模式---历史会话  找到该会话,点击后 查看右侧记录页面的数据:确认下 是否有该坐席被指定发起会话的记录,如果有说明成功,没有的话,请检查下代码和是否是新会话测试的
       

    代码指定客服3-2.png

    收起阅读 »

    客服云 历史会话的筛选和导出

                                                                      历史会话的筛选和导出    tips:     结束的会话才能到历史会话模块进行导出。(历史会话记录默认保存6个月,如需延长...
    继续阅读 »
                                                                      历史会话的筛选和导出
       tips:
    1.     结束的会话才能到历史会话模块进行导出。(历史会话记录默认保存6个月,如需延长,请联系环信商务经理。 )
    2.     客服模式和管理员模式都可以进行导出,数据权限不同
    3.     历史会话模块默认显示的是本周数据,从周日开始
    4.     在客服模式的“历史会话”页面,客服和管理员仅可查看自己参与并结束的会话;
    5.     在管理员模式的“历史会话”页面,管理员可以查看所有客服的历史会话。

     第一:筛选
          进入历史会话模块,点击右上角筛选排序,可以重新指定时间段,根据会话标签,访客昵称,环信ID等条件筛选


    历史会话2-1.png



     ​第二:导出
         直接点击界面右下角导出按钮,生成的文件需要到导出管理进行下载


    历史会话2-2.png




    历史会话2-3.png



         更多历史会话操作 文档地址:
    http://docs.easemob.com/cs/100agentmode/30history#%E5%AF%BC%E5%87%BA%E5%8E%86%E5%8F%B2%E4%BC%9A%E8%AF%9D
    收起阅读 »

    客服云 代码传访客属性

    代码传访客属性(例如访客资料页的:昵称,名字,公司,描述等字段) 代码传客户信息 针对自定义字段不生效 客服系统以下开关需要打开           管理员模式--设置--系统开关 允许访客端修改客户信息  开关保持开启状态,见下图 ...
    继续阅读 »
    代码传访客属性(例如访客资料页的:昵称,名字,公司,描述等字段)
    代码传客户信息 针对自定义字段不生效
    1. 客服系统以下开关需要打开

              管理员模式--设置--系统开关 允许访客端修改客户信息  开关保持开启状态,见下图


    开关1-1.png




          2.APP和网页集成都需要对应的代码传值   相关代码文档:
    Android 
    http://docs.easemob.com/cs/300visitoraccess/androidsdkapi#%E5%8F%91%E9%80%81%E5%B8%A6%E8%AE%BF%E5%AE%A2%E5%B1%9E%E6%80%A7%E7%9A%84%E6%B6%88%E6%81%AF
    ios
    http://docs.easemob.com/cs/300visitoraccess/iossdkapi#%E5%8F%91%E9%80%81%E5%B8%A6%E8%AE%BF%E5%AE%A2%E5%B1%9E%E6%80%A7%E7%9A%84%E6%B6%88%E6%81%AF
    网页(引入js)
    http://docs.easemob.com/cs/300visitoraccess/web-widget#%E6%98%BE%E7%A4%BA%E8%AE%BF%E5%AE%A2%E4%BF%A1%E6%81%AF

       代码传值针对新创建的会话生效,需要到管理员模式--当前会话 找到旧会话,手动关闭。(手动关闭会话见下图)


    手动关闭会话1-2.png


     
      之后访客端发送新消息,要求新会话第一条消息扩展必须有访客属性
      收起阅读 »

    如何用 30 天入门年薪 30 万的技术领域?

    2016年3月15日,人机大战第五场在韩国首尔进行,经过长达5个小时搏杀,李世石认输,最终李世石与AlphaGo总比分定格在1比4。 值得注意的是:李世石仅在3月15日结束的第四场对战中取得了唯一的一场胜利。而支撑机器取胜的核心技术,就是深度学习。 自此之...
    继续阅读 »
    2016年3月15日,人机大战第五场在韩国首尔进行,经过长达5个小时搏杀,李世石认输,最终李世石与AlphaGo总比分定格在1比4。
    值得注意的是:李世石仅在3月15日结束的第四场对战中取得了唯一的一场胜利。而支撑机器取胜的核心技术,就是深度学习。
    自此之后,深度学习开始逐渐进入大家的视野。

    01
    什么是深度学习?


    深度学习其实是机器学习(Machine Learning)的一个分支学科,而机器学习主要是研究数据之言的关系的,比如它可以用来分析性别、年龄、学历、职业等因素之间的数学关系。
    显而易见,这些因果关系并不是一个简单的线性关系就能解决的。但是深度学习通过多非线性模型表示数据之间的关系,从而确定数据之间的相互关系是什么。

    02
    深度学习已经融入到了人们的日常生活中


    现在汽车的自动驾驶、短信邮件的自动回复、扫地机器人,以及在围棋中击败最优秀人类选手的软件,都应用到了深度学习。甚至骚扰电话,也有很多是AI机器人打过来的,可能电话那头和你聊得正酣、声音甜美的客服妹子只是一串代码。
    因此,阿里达摩院的工程师们,受不了骚扰骚扰电话的骚扰,发起了“二哈”AI,让机器人与骚扰电话自动聊天。
    大家感受一下这对话画风


    1.gif


     
    总之,AI机器人的骚扰电话,正在用AI进行解决。

    03

    可能是编程领域薪资最高的岗位


    而与此同时学习深度学习的人也开始变得多了起来,但由于深度学习涉及面比较广,很多学者会对此望而却步。然而如果学好深度学习,不仅仅可以给你带来高薪资,也有可能会给你带来很多的荣誉!因为在此领域还是非常缺乏人才的!
    大家可以看一份数据


    2.png


     
    平均月薪已达到3w,年薪36w。


    4.png


     
    就应届生深度学习岗的薪资,都已经达到了很多其他互联网职业3年工作经验都难以企及的水平。
    现在各个大厂,也都有深度学习相关的项目,而且待遇方面也是极其的诱人。
    百度推出“少帅计划”,针对30岁以下的深度学习科学家,开出100万以上年薪
    阿里巴巴对外宣布将通过校园招聘组建一支规模达数百人的 NASA“青年军”
    华为更是开出200万年薪招聘应届毕业生,其专业均为最前沿的人工智能领域
    作为一个有追求的程序员,相信你在脑海中闪过无数次这样的疑问:如何掌握深度学习?

    04

    如何掌握深度学习?


    目前市场对于深度学习的需求,早已出现供不应求的现象,但太多工程师想入门或者转行却不知从何开始,很多初学者都会有这样的困惑:
    一边要熟练掌握线性代数、矩阵计算,一边还要搞概率论
    一边要去研究各种库与框架,一边学习如何在用编程语言实现算法
    一边学习如何制作数据集、特征提取,一边微调参数,选择合适的算法
    这样一轮下来,深度学习还没有开始就已经走上了放弃之路。
    放眼网上现有的一些深度学习课程,经常会发现有些知识点覆盖不全,或者学习门槛较高,研究性的问题不多,或者说只关注面试,而忽略了底层的逻辑以及真实案例的实操。
    因此,我们通上百名深度学习用户的调研,与老师花费上千小时的时间,提炼了102节精华课程。
    我们希望通过“从零开始深度学习”这门课程,让你0基础入门深度学习,建立起完整的学习路径,同时通过“智能问答模型”的实战案例,将所学知识学以致用。
    #购课即送王海良老师在京东原价69的《智能问答与深度学习》实体书一本#

    讲师介绍
    王海良:Chatopera联合创始人&CEO,微软人工智能最有价值专家,先后工作于IBM软件开发实验室和创新中心。
    李卓桓:25年编程经验,曾任优酷网首席科学家、叽歪网创始人,水木清华BBS站长,紫霞BBS站长。
    林旭鸣:北京邮电大学模式识别实验室研究生,任职阿里巴巴的阿里小蜜团队。
    陈可心:香港大学硕士,任职经历包括:微软中国、今日头条研发中心,联想香港人工智能中心以及联合国亚太分部。
    李思珍:现任职今日头条,主要工作实现人机交互系统的意图识别和关键词优化。

    #课程介绍#
    相信很多小伙伴,在入门深度学习的路上,会被一些数据基础搞得犯怵,搭建环境的时候也许会遇到很多坑。
    因此,我们把课程分为五个模块:数学基础、Python编程语言基础、深度学习初步、深度学习深化、智能问答模型实践,带你一探深度学习的究竟,希望你通过此次学习,不仅掌握原理更能动手实操。
    除了上述102节视频课程,我们还为这次课程搭配了书籍《深度学习与智能问答》,一边跟着视频实操,一边阅读书籍巩固,学习效果double~


    5.jpg


     
    如何保证你的学习效果?
    由基础的数学学习开始,逐渐建立完整的深度学习知识体系
    五大模块,由知识学习到真实案例的实践
    购课送原价69元深度学习实体书,边学边读,加深记忆
    建立一个互助、监督的高效学习社群,随时交流问题

    购课须知
    本课程包含哪些内容?
    包含102节视频课(20+小时)+实体书(京东原价69)

    上课形式是怎样的?
    课程授课形式为:视频+群答疑

    #如何报名#
    限时特惠:99元(原价199元)
    拼团特惠69元~
    图书(含邮寄) + 100+节视频课程,每课仅需6毛钱

    扫码立即抢购!
    平均一天2元,就是一瓶水钱
    坚持30天,换你一次进入高薪技术领域的机会
    如果对课程有疑问
    欢迎扫码回复“1”进课程咨询群


    6.jpg


     
     
      收起阅读 »

    环信助力2019 中国开源年会(COSCon'19)顺利启航!

      COSCon '19正式启动啦!时间: 2019-11-02 09:00 ~ 11-03 17:00 地址: 上海普陀区上海普陀区中山北路3663号华东师范大学(中北校区) 业界最具影响力的开源年度盛会2019中国开源年会 ( COSCon'19 )...
    继续阅读 »


    微信图片_20190909152905.jpg


     
    COSCon '19正式启动啦!时间: 2019-11-02 09:00 ~ 11-03 17:00
    地址: 上海普陀区上海普陀区中山北路3663号华东师范大学(中北校区)
    业界最具影响力的开源年度盛会2019中国开源年会 ( COSCon'19 )将于 11月2-3日在华东师范大学 (上海普陀区中山北路校区)由开源社举办。
    我们预期会有超过1600人现场参与这次盛会,还会有超过1万名在线的观众,热切围观。感谢许多社区伙伴、企业伙伴和志愿者,携手促使这样规模的 COSCon  诞生。
    本次大会的主题是“开源无疆、携手出航”(Let’s Cross the Boundaries Together!),这也代表我们对于中国开源,走向世界,走向辉煌的殷切期望。
    本次大会将持续两天,我们策划的主题包括:开源软件、开源硬件、社区运营与治理、开源教育等方向。也特别希望听到各种自由/开源相关的成功故事和酸甜苦辣的经历。我们诚挚地邀请您的参与!
     
    大会亮点


    活动亮点.jpg


     
    活动报名链接:https://www.bagevent.com/event/5744455 
      收起阅读 »

    【报名】环信&华为首届《5G音视频开发创业沙龙》大咖+干货+大奖,等你来撩!

    2019年是5G商用元年,作为第五代通信技术,未来将结合云计算、人工智能、物联网等技术逐渐改变亿万用户的生活消费方式,带来万亿级的产业空间。Gartner预测到2020年,7%的全球通信服务提供商将拥有商业上可行的无线5G服务,2023年5G智能手机将占总销量...
    继续阅读 »
    2019年是5G商用元年,作为第五代通信技术,未来将结合云计算、人工智能、物联网等技术逐渐改变亿万用户的生活消费方式,带来万亿级的产业空间。Gartner预测到2020年,7%的全球通信服务提供商将拥有商业上可行的无线5G服务,2023年5G智能手机将占总销量的51%,谁先拥抱5G谁就能在万亿级的新产业空间里拔得头筹。
    当下,短视频、互动直播等音视频应用火爆来袭,抖音、快手等已成为当红流量入口,当移动互联红利消失殆尽,各行业获客成本不断攀升的态势下,5G催生的音视频应用风口已成为兵家必争之地,让各条赛道又迎来弯道超车的好机会。
     同时,音视频应用正在加快与人工智能、5G信息显示等领域的融合,不断催生新业态和商业模式,但对创业者和开发者来说还是挑战诸多:1,5G时代如何选择一家靠谱的云基础设施资源服务厂商?音视频领域有哪些技术要点和哪些典型应用?2,5G时代音视频社交领域有哪些新玩法?3,5G创业如何实现从0—1的快速冷启动?4,产品研发上线后该如何科学运营,拉新、获客、留存,洞悉市场和用户行为实现快速增长……
     
    9月21日,坐标北京,中关村创业大街,来这里听一场就够了!
     
    环信联合华为举办首届《5G音视频开发创业沙龙》,给创业者们带来5G音视频方面的最新最佳技术实践,分享在5G音视频领域创业,开发、运营、安全、部署等一揽子解决方案,深入解读5G音视频火热背后的技术奥秘和新增长机会。


    5G音视频长图.jpg


     


    微信二维码.jpg


     
    扫码进入 环信&华为@5G沙龙交流群
     
    报名链接:http://hdxu.cn/sJ8fm 
      收起阅读 »

    new

    修改聊天界面titlebar 标题 看LoginActivity intent跳转传参  setTitleName() 这个参数就是title // 进入主页面 Intent intent = new IntentBuilder(LoginActivit...
    继续阅读 »
    1. 修改聊天界面titlebar 标题

    看LoginActivity intent跳转传参  setTitleName() 这个参数就是title
    // 进入主页面
    Intent intent = new IntentBuilder(LoginActivity.this) .setTargetClass(ChatActivity.class) .setVisitorInfo(DemoMessageHelper.createVisitorInfo()) .setServiceIMNumber(Preferences.getInstance().getCustomerAccount()) .setScheduleQueue(DemoMessageHelper.createQueueIdentity(queueName)) .setTitleName(titleName) // .setScheduleAgent(DemoMessageHelper.createAgentIdentity("ceshiok1@qq.com")) .setShowUserNick(true) .setBundle(bundle) .build();
    startActivity(intent);        2. 设置显示客服头像和昵称
          (1)首先客服系统 切换到管理员模式--设置--系统开关  访客端显示客服昵称开关打开。
          (2)参考DemoHelpe类中,setEaseUIProvider方法,消息判断为接收方receive中的代码,客服发送的消息,从消息扩展可以获取到坐席信息。
       参考文档:http://docs.easemob.com/cs/300visitoraccess/extended-message-format#%E6%98%BE%E7%A4%BA%E5%AE%A2%E6%9C%8D%E5%A4%B4%E5%83%8F%E5%92%8C%E6%98%B5%E7%A7%B0
             3.设置显示访客头像:
               (1) 找到DemoHelper 类中,setEaseUIProvider 方法,消息判断为发送方send的代码,可以设置访客头像
               (2)需要修改kefueaseui 库中ChatRow类的代码,如果远程依赖无法修改,建议先使用本地依赖的方式
    本地依赖下载地址http://www.easemob.com/download/cs   打开链接,页面底部找访客端SDK和Demo,Demo中找到kefueaseui库,手动导入,把之前远程依赖的注释掉,重新添加本地依赖
              (3)ChatRow 类中找到setUpBaseView  之后看对adapter的判断


    chatrow.png


    把框选位置条件删掉即可
         注意:kefueaseui 库,消息布局没有访客昵称控件,如果需要显示访客昵称数据,需要单独先给布局添加昵称控件。
               
      收起阅读 »

    iOS SDK 日志文件的导出

    一、console后台获取,如图二、xcode获取环信SDK提供2.x和3.x两个版本。初始化SDK成功,会写入日志文件到本地。 日志文件路径如下: 2.x 已停止维护            &nb...
    继续阅读 »
    一、console后台获取,如图


    二、xcode获取
    环信SDK提供2.x和3.x两个版本。初始化SDK成功,会写入日志文件到本地。

    日志文件路径如下:
    • 2.x 已停止维护             沙箱/Library/EaseMobLog
    • 3.5.4之前(不含3.5.4) 沙箱Documents/HyphenateSDK/easemoblog 
    • 3.5.4之后(含3.5.4)    沙箱Library/Application Support/HyphenateSDK/easemobLog 
    下面以3.5.4之后的版本为例,演示获取方法

    模拟器: 
    • 打印NSHomeDirectory()      

    模拟器1.png

    • 复制路径,打开Finder前往     

    模拟器2.png

    • 访问到沙箱目录

    模拟器3_路径.png


    真机:
    • 打开Xcode连接设备,运行成功后,前往Xcode --> Window --> Devices and Simulators 

    真机1.png

    • 进入Devices界面

    真机2.png

    • 选择Download Container之后会下载到本地一个.xcappdata文件。选中这个文件鼠标右键显示包内容。

    真机3.png

    • 访问到沙箱目录   

    真机4_路径.png


    注:easemobDB是存放历史消息的本地数据库
    收起阅读 »

    【源码下载】一款使用环信实现的开源灵魂社交APP(含服务器)

    #前言 近期,环信热心开发者-穿裤衩闯天下使用环信IM开发了一款实时聊天应用,包含简单的服务器端,现在正式开源给小伙伴们。感兴趣的同学可以一起搞一下哦,详细介绍请往下看。   上代码 服务器:VMServer 客户端:VMMatch    #VM...
    继续阅读 »
    #前言
    近期,环信热心开发者-穿裤衩闯天下使用环信IM开发了一款实时聊天应用,包含简单的服务器端,现在正式开源给小伙伴们。感兴趣的同学可以一起搞一下哦,详细介绍请往下看。


    猿匹配_logo_副本.png



      上代码
    服务器:VMServer
    客户端:VMMatch
     
     #VMMatch
    猿匹配 —— 国内首个程序猿非严肃婚恋交友应用,让我们一言不合就来场匹配吧
     
    #介绍#
    首先说下中文名:为什么叫这个名字呢,因为这是一个程序猿(媛)之间匹配交流的应用啊其实这是一个使用环信 IM 开发的一款开源聊天项目,涵盖了时下流行的一些聊天元素,同时已将 IM 功能封装为单独库,可以直接引用,方便使用
    项目还处在初期阶段,还有许多功能需要实现,有兴趣的可以一起来
    项目资源均来自于互联网,如果有侵权请联系我
     
     #下载体验
    猿匹配 小米商店 审核中
    猿匹配 Google Play
     
      #项目截图


    1.png



    2.png



    3.png



    4.png



    5.png



    6.png


      
     #开发环境
    项目基本属于在最新的Android开发环境下开发,使用Java8的一些新特性,比如Lambda表达式,
    然后项目已经适配Android6.x以上的动态权限适配,以及7.x的文件选择,和8.x的通知提醒等;
    · Mac OS 10.14.4
    · Android Studio 3.3.2
      #项目模块儿
    本项目包含两部分:
    一部分是项目主模块app,这部分主要包含了项目的业务逻辑,比如匹配、信息修改、设置等
    另一部分是封装成library的vmim,这是为了方便大家引用到自己的项目中做的一步封装,不用再去复杂的复制代码和资源等,
    只需要将vmim以module导入到自己的项目中就行了,具体使用方式参见项目app模块儿;
     
      #功能与 TODO
    IM部分功能
    · [x] 链接监听
    · [x] 登录注册
    · [x] 会话功能
          。[x] 置顶
          。[x] 标为未读
          。[x] 删除与清空
          。[x] 草稿功能
    · [x] 消息功能
          。[x] 下拉加载更多
          。[x] 消息复制(仅文字类消息)
          。[x] 消息删除
          。[x] 文本+Emoji消息收发
          。[x] 大表情消息收发
          。[x] 图片消息
            ~[x] 查看大图
            ~[ ] 保存图片
          。[x] 语音消息
            ~[x] 语音录制
            ~[x] 语音播放(可暂停,波形待优化)
            ~[x] 听筒和扬声器播放切换
          。[x] 语音实时通话功能
          。[x] 视频实时通话功能
          。[x] 通话过程中的娱乐消息收发
            ~[x] 骰子
            ~[x] 石头剪刀布
            ~[x] 大表情
          。[x] 昵称头像处理(通过回调实现)
    App部分功能
    · [x] 登录注册(包括业务逻辑和 IM 逻辑)
    · [x] 匹配
          。[x] 提交匹配信息
          。[x] 拉取匹配信息
    · [x] 聊天(这里直接加载 IM 模块儿)
    · [x] 我的
          。[x] 个人信息展示
          。[x] 上传头像
          。[x] 设置昵称
          。[x] 设置签名
    · [x] 设置
          。[x] 个人信息设置
          。[x] 通知提醒
          。[x] 聊天
          。[ ] 隐私(随业务部分一起完善)
          。[ ] 通用(随业务部分一起完善)
          。[ ] 帮助反馈(随业务部分一起完善)
          。[x] 关于
          。[x] 退出
    · [ ] 社区
          。[ ] 发布
          。[ ] 评论
          。[ ] 收藏
          。[ ] 关注
    发布功能
    · [x] 多渠道打包
    · [x] 签名配置
    · [x] 开发与线上环境配置
    · [x] 敏感信息保护
     
      #配置运行
    1.首先复制config.default.gradle到config.gradle
    2.配置下config.gradle环信appkey以及bugly统计Id
    3.正式打包需要配置下签名信息,同时将签名文件放置在项目根目录
     
      #参与贡献
    如果你有什么好的想法,或者好的实现,可以通过下边的步骤参与进来,让我们一起把这个项目做得更好,欢迎参与
    1.Fork本仓库
    2.新建feature_xxx分支 (单独创建一个实现你自己想法的分支)
    3.提交代码
    4.新建Pull Request
    5.等待我们的Review & Merge
     
     #关联项目
    服务器端由nodejs实现,地址见这里 VMServer
     
      #VMServer
    是为Android开源项目VMMatch项目(中文名猿匹配)实现的服务端
     
      #简介
    这个项目包含两部分
    · 根目录:服务逻辑及API接口实现
    · client目录:前端界面,和服务器端代码端放置在同一仓库下(暂未实现)
     
     #使用
    简单介绍下运行环境及部署方法
    1.安装nodejs开发时使用的是v10.16.0版本
    2.需要安装mongodb并启动,开发使用版本4.0.10
    3.下载项目到服务器,可以下载压缩包,或者用git clone命令
    4.复制config_default.js到config.js,可根据自己需要修改配置文件
    5.安装依赖
    npm install

    6.全局安装pm2
    npm install pm2 -g
     
    7.运行 vmshell.sh
     

    环信冬冬_副本.jpg


    扫码备注【开源项目】邀你加入环信开源社群
     
    转载自https://blog.melove.net/develop-open-source-im-match-and-server/ 
      收起阅读 »