`
文章列表

流式计算

    博客分类:
  • java
private void postHandle(List<QtyPredictTask> taskList, List<SkuSolutionVo> skus) throws IOException, BusinessException { List<QtyTaskResult> results = taskList.stream().map(task -> task.getOutput()).collect(Collectors.toList()); Map<String, Double> pri ...
一. 自学习dag改造步骤: (1)数据组+数据组合并(2)选取时间范围的分片(3)对账户慢变化和卡片慢变化表,要变成拉链表,即构造出VALID_FROM_DT和VALID_TO_DT(4)对利辉提供的欺诈表,进行格式化处理。(由于利辉返回的欺诈表的ATH_DT格式是20190307,ATH_TM是121323666,所以通过字符串切割,转换成正常的格式)(5)label字段是欺诈表拼接出来的。(由于交易表中也有该字段,所以一定要保留拼表后的label字段)(6)保证字段有序。   (7) 自学习的数据组的名称一定要和表名称一样,从而才能使用simon来导入数据。          为 ...
  在运行PySpark程序的时候,报错为:PySpark error: AttributeError: 'NoneType' object has no attribute '_jvm' 查找原因发现是使用from pyspark.sql.functions import *  语句引入的时候,覆盖了abs()方法导致的,因此在引入语句中加入       builtin = __import__('__builtin__')       abs = builtin.abs 问题被解决。
        以下介绍消息队列在实际应用中常用的使用场景。异步处理,应用解耦,流量削锋和消息通讯四个场景。   1.异步处理     场景说明:用户注册后,需要发注册邮件和注册短信。做法有如下几种     (1)串行方式:将注册信息写入数据库成功后,发送注册邮件,再发送注册短信。以上三个任务全部完成后,返回给客户端。     (2)并行方式:将注册信息写入数据库成功后,发送注册邮件的同时,发送注册短信。以上三个任务完成后,返回给客户端。与串行的差别是,并行的方式可以提高处理的时间。     (3)引入消息队列,将不是必须的业务逻辑,异步处理。  
  问题:实现在MNIST数据集上,对数字的识别。   分析: (1)输入:MNIST手写的数字图片,它是一个28*28的二维图片,为了计算,我们将其转为784维的一个向量。 (2)输出:分类器的输出是0-9的数字的概率。 (3)分类器的设计:5层的卷积神经网络。即:conv->pool->conv->pool->FC->softmax     代码如下: """ 定义卷积神经网络分类器: 输入的二维图像,经过两个卷积-池化层,使用以softmax为激活函数的全连接层作为输出层 ...

设计模式

    博客分类:
  • java
1.桥梁模式,将抽象部分与实现部分隔离开,抽象部分持有实现部分。就是将两个维度变化的东西,分拆成每个维度单独变化,然后通过组合的方式,放在一起。 具体可参考阎宏博士的解释。 https://blog.csdn.net/u011068702/article/details/50521067   2.策略模式,将策略拆分出来形成自己的等级结构,使用者去持有策略。 具体如下: https://blog.csdn.net/u012124438/article/details/70039943  
Spring boot的web层可以访问Service层,然后Service层可以在访问Mapper层,只要满足如下两个条件。 (1)Web层引用了Service层,Service层引用了Mapper层。 (2)Web层要使用@ComponentScan扫描Web层和Service层的路径。使用@MapperScan扫描Mapper层的路径,在application.properties文件中,引入了druid数据源和mybatis的配置。
FreeMarker是一个模板引擎,一个基于模板生成文本输出的通用工具,使用纯Java编写。 FreeMarker被设计用来生成HTML Web页面,特别是基于MVC模式的应用程序 虽然FreeMarker具有一些编程的能力,但通常由Java程序准备要显示的数据,由F ...
首先要申明一下which java是定位不到安装路径的。which java定位到的是java程序的执行路径。那么怎么定位到java的安装路径呢?下面我们来看看例子吧,如下所示: [root@localhost ~]# java -version   java version "1.7.0_65"   OpenJDK Runtime Environment (rhel-2.5.1.2.el6_5-x86_64 u65-b17)   OpenJDK 64-Bit Server VM (build 24.65-b04, mixed mode)   [r ...
问题展现:root@ubuntu:/home/ubuntu# apt-get install openssh-server正在读取软件包列表... 完成正在分析软件包的依赖关系树       正在读取状态信息... 完成       建议安装的软件包:  rssh molly-guard monkeysphere下列【新】软件包将被安装:  openssh-server升级了 0 个软件包,新安装了 1 个软件包,要卸载 0 个软件包,有 483 个软件包未被升级。
分享一下wss4j+cxf基于UsernameToken的安全验证。名词解释:             cxf         : apache下的一个开源项目,用于发布webservice。      WSS4J  : Web Services Security for Java.  废话少说,直接上代码。    1. 首先,需要导入cxf中的所有jar包,及wss4j中的所有jar包与log4j.jar。          (本例中使用的版本是:apache-cxf-2.7.3,wss4j-1.6.9)     2. 首先建立server 项目,发布一个简单的helloWorldSe ...
为了让web应用程序支持国际化,必须识别每个用户的首选区域,并根据这个区域显示内容。 在Spring MVC应用程序中,用户的区域是通过区域解析器来识别的,它必须实现LocaleResolver接口。Spring MVC提供了几个LocaleResolver实现,让你可以按照不同的条件来解析区域。除此之外,你还可以实现这个接口,创建自己的区域解析器。 要定义一个区域解析器,只需在web应用程序上下文中注册一个LocaleResolver类型的Bean就可以了。你必须将区域解析器的Bean名称设置为localeResolver,这样DispatcherServlet才能自动侦测到它。请注意, ...

(转)java泛型

    博客分类:
  • java
http://www.cnblogs.com/lwbqqyumidi/p/3837629.html   一. 泛型概念的提出(为什么需要泛型)? 首先,我们看下下面这段简短的代码: 1 public class
在一对多的关联操作中,通常在一方插入记录后,需要获取到当前记录的id,以方便进行多方的插入操作。要解决这一问题,在JDBC中至少有三种不同的实现方法:1.在插入语句后添加一条查询,利用resultset来得到id号psmt = con.prepareStatement          ("insert into orders (receiver,address,telephone,total,detailnum,userid)values(?,?,?,?,?,?);select @@identity");            psmt.setString(1, or ...
  原文地址:http://my.oschina.net/u/1010578/blog/366252 起因     这几天工作上需要跟另一个同事联调rest接口,我这边是java他是php,返回报文是json格式。接口调用成功后,输出返回的报文中有类似“\u79fb\u52a8\u4e92\u8054\u7f51\u5e94\ ...
Global site tag (gtag.js) - Google Analytics