ITeye博客

javaeye

mxdxm · 共 795 篇文章

流式计算

private void postHandle(List<QtyPredictTask> taskList, List<SkuSolutionVo> skus) throws IOException, BusinessException { List<QtyTaskResult> results = taskList.stream().map(task -> task.getOutput()).collect(Collectors.toList()); Map<String, Double> priceMap = results.parallelStream().collect(Collec…

2022-02-07 14:31 · java · 评论(0)

自学习dag的改造

一. 自学习dag改造步骤: (1)数据组+数据组合并 (2)选取时间范围的分片 (3)对账户慢变化和卡片慢变化表,要变成拉链表,即构造出VALID_FROM_DT和VALID_TO_DT (4)对利辉提供的欺诈表,进行格式化处理。(由于利辉返回的欺诈表的ATH_DT格式是20190307,ATH_TM是121323666,所以通过字符串切割,转换成正常的格式) (5)label字段是欺诈表拼接出来的。(由于交易表中也有该字段,所以一定要保留拼表后的label字段) (6)保证字段有序。 (7) 自学习的数据组的名称一定要和表名称一样,从而才能使用simon来导入数据。 为了在自学习中控制白…

2019-07-03 16:28 · 知识沉淀 · 评论(0)

PySpark error: AttributeError: 'NoneType' object has no attribute '_jvm'

在运行PySpark程序的时候,报错为:PySpark error: AttributeError: 'NoneType' object has no attribute '_jvm' 查找原因发现是使用from pyspark.sql.functions import * 语句引入的时候,覆盖了abs()方法导致的,因此在引入语句中加入 builtin = __import__('__builtin__') abs = builtin.abs 问题被解决。

2018-11-20 13:51 · Python · 评论(0)

消息队列使用的四种场景介绍

以下介绍消息队列在实际应用中常用的使用场景。异步处理,应用解耦,流量削锋和消息通讯四个场景。 1.异步处理 场景说明:用户注册后,需要发注册邮件和注册短信。做法有如下几种 **(1)串行方式:**将注册信息写入数据库成功后,发送注册邮件,再发送注册短信。以上三个任务全部完成后,返回给客户端。 **(2)并行方式:**将注册信息写入数据库成功后,发送注册邮件的同时,发送注册短信。以上三个任务完成后,返回给客户端。与串行的差别是,并行的方式可以提高处理的时间。 (3)引入消息队列,将不是必须的业务逻辑,异步处理。 2.应用解耦 场景说明:用户下单后,订单系统需要通知库存系统。传统的做法是,订单系…

2018-08-09 16:34 · java · 评论(0)

用paddle实现一个CNN神经网络

问题:实现在MNIST数据集上,对数字的识别。 分析: (1)输入:MNIST手写的数字图片,它是一个28*28的二维图片,为了计算,我们将其转为784维的一个向量。 (2)输出:分类器的输出是0-9的数字的概率。 (3)分类器的设计:5层的卷积神经网络。即:conv->pool->conv->pool->FC->softmax 代码如下: """ 定义卷积神经网络分类器: 输入的二维图像,经过两个卷积-池化层,使用以softmax为激活函数的全连接层作为输出层 Args: img -- 输入的原始图像数据 Return: predict -- 分类的结果 """ # Your Code B…

2018-06-15 11:19 · paddle · 评论(0)

设计模式

1.桥梁模式,将抽象部分与实现部分隔离开,抽象部分持有实现部分。就是将两个维度变化的东西,分拆成每个维度单独变化,然后通过组合的方式,放在一起。 具体可参考阎宏博士的解释。 https://blog.csdn.net/u011068702/article/details/50521067 2.策略模式,将策略拆分出来形成自己的等级结构,使用者去持有策略。 具体如下: https://blog.csdn.net/u012124438/article/details/70039943

2018-04-11 16:49 · java · 评论(0)

Spring boot web可以访问Service和Mapper层

Spring boot的web层可以访问Service层,然后Service层可以在访问Mapper层,只要满足如下两个条件。 (1)Web层引用了Service层,Service层引用了Mapper层。 (2)Web层要使用@ComponentScan扫描Web层和Service层的路径。使用@MapperScan扫描Mapper层的路径,在application.properties文件中,引入了druid数据源和mybatis的配置。

2018-03-26 16:42 · java · 评论(0)

FreeMarker的基础语法使用 && 心得和技巧

FreeMarker是一个模板引擎,一个基于模板生成文本输出的通用工具,使用纯Java编写。 FreeMarker被设计用来生成HTML Web页面,特别是基于MVC模式的应用程序 虽然FreeMarker具有一些编程的能力,但通常由Java程序准备要显示的数据,由FreeMarker生成页面,通过模板显示准备的数据(如下图) FreeMarker不是一个Web应用框架,而适合作为Web应用框架一个组件。 FreeMarker与容器无关,因为它并不知道HTTP或Servlet;FreeMarker同样可以应用于非Web应用程序环境。 FreeMarker更适合作为Model2框架(如Stru…

2018-01-10 10:03 · java · 评论(0)

Linux如何查看JDK的安装路径

首先要申明一下which java是定位不到安装路径的。which java定位到的是java程序的执行路径。那么怎么定位到java的安装路径呢?下面我们来看看例子吧,如下所示: [root@localhost ~]# java -version java version "1.7.0_65" OpenJDK Runtime Environment (rhel-2.5.1.2.el6_5-x86_64 u65-b17) OpenJDK 64-Bit Server VM (build 24.65-b04, mixed mode) [root@localhost ~]# which java /…

2017-12-20 10:17 · Linux · 评论(0)

Ubuntu 14.04安装openssh-server后提示initctl:未知任务:ssh

问题展现: root@ubuntu:/home/ubuntu# apt-get install openssh-server 正在读取软件包列表... 完成 正在分析软件包的依赖关系树 正在读取状态信息... 完成 建议安装的软件包: rssh molly-guard monkeysphere 下列【新】软件包将被安装: openssh-server 升级了 0 个软件包,新安装了 1 个软件包,要卸载 0 个软件包,有 483 个软件包未被升级。 需要下载 0 B/324 kB 的软件包。 解压缩后会消耗掉 1,015 kB 的额外空间。 正在预设定软件包 ... Selecting pr…

2017-12-20 10:04 · Linux · 评论(0)

webService----wss4j+cxf实现WS-Security(基于UsernameToken)

分享一下wss4j+cxf基于UsernameToken的安全验证。名词解释: cxf : apache下的一个开源项目,用于发布webservice。 WSS4J : Web Services Security for Java. 废话少说,直接上代码。 1. 首先,需要导入cxf中的所有jar包,及wss4j中的所有jar包与log4j.jar。 (本例中使用的版本是:apache-cxf-2.7.3,wss4j-1.6.9) 2. 首先建立server 项目,发布一个简单的helloWorldService. 目录结构图: webservice接口代码: Java代码 package …

2017-10-23 18:58 · java · 评论(0)

Spring MVC之LocaleResolver(解析用户区域)

为了让web应用程序支持国际化,必须识别每个用户的首选区域,并根据这个区域显示内容。 在Spring MVC应用程序中,用户的区域是通过区域解析器来识别的,它必须实现LocaleResolver接口。Spring MVC提供了几个LocaleResolver实现,让你可以按照不同的条件来解析区域。除此之外,你还可以实现这个接口,创建自己的区域解析器。 要定义一个区域解析器,只需在web应用程序上下文中注册一个LocaleResolver类型的Bean就可以了。你必须将区域解析器的Bean名称设置为localeResolver,这样DispatcherServlet才能自动侦测到它。请注意,每…

2017-09-23 15:55 · java · 评论(0)

(转)java泛型

http://www.cnblogs.com/lwbqqyumidi/p/3837629.html 一. 泛型概念的提出(为什么需要泛型)? 首先,我们看下下面这段简短的代码: 1 public class GenericTest { 2 3 public static void main(String[] args) { 4 List list = new ArrayList(); 5 list.add("qqyumidi"); 6 list.add("corn"); 7 list.add(100); 8 9 for (int i = 0; i < list.size(); i++) { …

2016-11-12 20:29 · java · 评论(0)

利用JDBC获取新插入记录id的三种方法

在一对多的关联操作中,通常在一方插入记录后,需要获取到当前记录的id,以方便进行多方的插入操作。要解决这一问题,在JDBC中至少有三种不同的实现方法: 1.在插入语句后添加一条查询,利用resultset来得到id号 psmt = con.prepareStatement ("insert into orders (receiver,address,telephone,total,detailnum,userid)values(?,?,?,?,?,?);select @@identity"); psmt.setString(1, order.getReceiver()); …… result…

2016-11-12 20:26 · 数据库 · 评论(0)

java中如何忽略字符串中的转义字符--转载

原文地址:http://my.oschina.net/u/1010578/blog/366252 起因 这几天工作上需要跟另一个同事联调rest接口,我这边是java他是php,返回报文是json格式。接口调用成功后,输出返回的报文中有类似“\u79fb\u52a8\u4e92\u8054\u7f51\u5e94\u7528 ”的Unicode字符,有点纳闷,记得java是会自动转换Unicode字符为中文才对。 通过断点debug一看,发现返回的报文在程序中被转换为“\u79fb\u52a8\u4e92\u8054\u7f51\u5e94\u7528”,两个反斜杠表示字符‘\’,所以输出的…

2016-06-28 16:42 · java · 评论(1)