Posts

1 min read

Machine Learning 101 slidedeck

https://docs.google.com/presentation/d/1kSuQyW5DTnkVaZEjGYCkfOxvzCqGEFzWBy4e9Uedd9k/preview?imm_mid=0f9b7e&cmp=em-data-na-na-newsltr_20171213&slide=id.g183f28bdc3_0_90

1 min read

AWS免费类型 首次注册后的12个月免费 永久免费 试用 aws永久免费的服务 计算服务 Lambda 1百万请求/月 400,000 GB-seconds of compute time per month Step 4000/月 存储 DynamoDB 25GB S3 The S3 free tier allows users to store 5 GB of data with standard storage, issue 20,000 GET requests and 2,000 PUT requests, and transfer 15 GB of data out each month Glacier 10GB
1 min read

create rest api resource

awslocal apigateway create-rest-api --name 'My First API' --description 'This is my first API'

awslocal apigateway get-rest-apis                                         {
    "items": [
        {
            "createdDate": 1574513755,
            "id": "tjc336382o",
            "name": "hello_api2"
        },
        {
            "description": "This is my first API",
            "createdDate": 1574513755,
            "id": "foyylqv018",
            "name": "My First API"
        }
    ]
}
1 min read

查看本月费用 The Cost Explorer API enables you to programmatically query your cost and usage data. You can query for aggregated data such as total monthly costs or total daily usage. You can also query for granular data, such as the number of daily write operations for Amazon DynamoDB database tables in your production environment Linux aws ce get-cost-and-usage --time-period Start=$(date -u -d "$TODAY" '+%Y-%m-01'),End=$(date -u +"%Y-%m-%d" --date="+1 day") --granularity MONTHLY --metrics UnblendedCost --output text 注意：CE服务是按api调用次数收费
2 min read

前提条件 配置AWS aws configure list Name Value Type Location ---- ----- ---- -------- profile <not set> None None access_key ****************s-ok shared-credentials-file secret_key ****************-key shared-credentials-file region local config-file ~/.aws/config ~/.aws/config [default] output = json region = local ~/.aws/credentials [default] aws_access_key_id = any-id-is-ok aws_secret_access_key = fake-key 启动aws本地服务 localstack start 创建EC2 配置 mkdir ec2 cd ec2 touch ec2.tf ec2.tf provider "aws" { profile = "default" region = "us-east-1" endpoints { ec2 = "http://localhost:4597" sts = "http://localhost:4592" } } resource "aws_instance" "example" { ami = "ami-2757f631" instance_type = "t2.
2 min read

标准设备 Bridge: A Linux bridge behaves like a network switch. It forwards packets between interfaces that are connected to it. It’s usually used for forwarding packets on routers, on gateways, or between VMs and network namespaces on a host. It also supports STP, VLAN filter, and multicast snooping. TUN: TUN (network Tunnel) devices work at the IP level or layer three level of the network stack and are usually point-to-point connections.
1 min read

disable Taskbar thumbnail preview on Windows

https://www.windowscentral.com/how-disable-taskbar-thumbnail-preview-windows-10

1 min read

最近在做智慧工地的项目，“智慧工地”的建设很大一部分信息主要是来自于工程BIM模型。 大部分情况下，BIM模型的精确度决定了“智慧工地”的开展程度。 “智慧工地”建设中，BIM模型的应用主要集中在以下几个方面：

  • 工程量的统计：分析各施工流水段各材料的工程量，如混凝土的工程量。

  • 施工模拟：施工进度计划与BIM模型相关联，对施工过程进行模拟。将实际工程进度与模拟进度进行对比，可以直观的看出工程是否滞后。

  • 可视化交底：通过BIM的可视化特点，对施工方案进行模拟，对施工人员进行3D动画交底，提高了交底的可行性。

  • 节点分析： 对复杂节点进行BIM建模，通过模型对复杂节点进行分析。

  • 综合管线碰撞检测： 检测预留孔洞、机电、设备管线安装碰撞。

从具体实现的角度对BIM和CAD做个比较

CAD BIM
工具集 2D(3D通过划线) 3D
连接过程 直接(2D对象直接连接) 间接(3D对象通过参数装配)
视图 高度具体的可视化视图 动态流线型视图，可随意放大，缩小
知识复用 MODEL(部件从MODEL抽取，而且部件的修改同时同步到MODEL)

基于WEB的3D建模工具

2 min read IT

On the other hand, convolution is most typically done with 3x3 windows and no stride (stride 1). MATPLOTLIB Matplot is a python library that help us to plot data. The easiest and basic plots are line, scatter and histogram plots. Line plot is better when x axis is time. Scatter is better when there is correlation between two variables Histogram is better when we need to see distribution of numerical data.
1 min read

Overlay vs underlay in summary

An Underlay network is the physical network responsible for the delivery of packets like DWDM, L2, L3, MPLS, or internet, etc. while an overlay is a logical network that uses network virtualization to built connectivity on top of physical infrastructure using tunneling encapsulations such as VXLAN, GRE, IPSec.

https://telcocloudbridge.com/blog/overlay-vs-underlay-networks/

1 min read

Some things worth noting in br_add_if:

  • Only ethernet like devices can be added to bridge, as bridge is a layer 2 device.
  • Bridges cannot be added to a bridge.
  • New interface is set to promiscuous mode: dev_set_promiscuity(dev, 1)

https://goyalankit.com/blog/linux-bridge

4 min read

节点维护 kubectl drain <node name> 维护有DaemonSet-managed pod的节点 kubectl drain <node name> --delete-local-data --force --ignore-daemonsets kubectl delete node <node name> sudo iptables -F sudo iptables -S create a regular pod 必须使用–restart=Never kubectl run -it curl --image=curlimages/curl:7.72.0 --restart=Never -- sh Never acts like a cronjob which is scheduled immediately. Always creates a deployment and the deployment monitors the pod and restarts in case of failure. kubeadm install mirror in china apt-get update && apt-get install -y apt-transport-https curl https://mirrors.
1 min read

proxy config for Windows

   ~/.atom/.apmrc
   https-proxy = http://192.168.0.119:3128/
   http-proxy = http://192.168.0.119:3128/

Set Up & Use Atom as a Markdown Editor

https://www.portent.com/blog/content-strategy/atom-markdown.htm

5 min read

# side car proxy 方法1 Namespace labels kubectl label ns servicea istio-injection=enabled Istio watches over all the deployments and adds the side car container to our pods.This is achieved by leveraging what is called MutatingAdmissionWebhooks, this feature was introduced in Kubernetes 1.9. So before the resources get created, the web hook intercepts the requests, checks if “Istio injection” is enabled for that namespace, and then adds the side car container to the pod
3 min read

特性 与hadoop集成，支持MR数据读取 二级索引 支持长行（最多20亿的列） 动态schema更改 bulk load 其他数据源如hadoop with sstableloader， CSV importing with cqlsh DTCS优化时序数据性能 DB CATEGORY BY CAP CA To primarily support consistency and availability means that you’re likely using two-phase commit for distributed transactions. It means that the system will block when a network partition occurs, so it may be that your system is limited to a single data center cluster in an attempt to mitigate this.
1 min read

<dependency> <groupId>org.springframework.cloud</groupId> <artifactId>spring-cloud-starter-zuul</artifactId> </dependency> gateway with routing @EnableZuulServer is used when you want to build your own routing service and not use any Zuul prebuilt capabilities. An example of this would be if you wanted to use Zuul to integrate with a service discovery engine other than Eureka (for example, Consul). We’ll only use the @EnableZuulServer annotation in this book. The Zuul proxy server is designed by default to work on the Spring products.
1 min read

为什么要使用OIDC

只使用基本OAUTH2认证是不安全因为无法保证与用户的访问令牌是真实的。使用 OIDC可以做到这一点

https://security.stackexchange.com/questions/37818/why-use-openid-connect-instead-of-plain-oauth2/260519#260519

hasRole

a role is just an authority with a special ROLE_ prefix. So in Spring security 3 @PreAuthorize(“hasRole(‘ROLE_XYZ’)“) is the same as @PreAuthorize(“hasAuthority(‘ROLE_XYZ’)“) and in Spring security 4 @PreAuthorize(“hasRole(‘XYZ’)”) is the same as @PreAuthorize(“hasAuthority(‘ROLE_XYZ’)“).

http://localhost:8080/oauth/token

curl -u eagleeye:thisissecret -i -H ‘Accept:application/json’ -d “grant_type=password&scope=webclient&username=will&password=pass” -H “Content-Type: application/x-www-form-urlencoded” -X POST http://localhost:8080/oauth/token

access protected resource

2 min read

机器学习是统计模型 对文本标签配对进行统计模型训练，使模型能够使用代表消息意图的预定义标签对未知输入文本进行分类 a statistical model is trained on text-label pairings, enabling the model to classify unknown input text with a pre-defined label representing the intention of the message Early neural networks Although the core ideas of neural networks were investigated in toy forms as early as the 1950s, the approach took decades to really get started. For a long time, the missing piece was a lack of an efficient way to train large neural networks.
3 min read

提示： 以下操作是在VirtualBox虚机环境，并做如下配置 网络 下拉高级设置，在”Adapter Type”选择PCnet-FAST III”, 而不是默认的e1000 (Intel PRO/1000). 另外”Promiscuous Mode”必须设置为”Allow All”. 否则通过网桥连接的容器无法工作, 因为虚拟网卡 会过滤掉掉所有带有不同MAC的数据包。 多网卡 每块网卡都要做上述调整 准备 安装util-linux sudo apt install util-linux /etc/network/interface cat interfaces # interfaces(5) file used by ifup(8) and ifdown(8) auto lo iface lo inet loopback auto enp0s3 iface enp0s3 inet static address 192.168.1.10 netmask 255.255.255.0 gateway 192.168.1.1 dns-nameservers 192.168.1.1 auto enp0s8 iface enp0s8 inet static address 192.168.1.16 netmask 255.
1 min read

业务

公司专注于建筑信息化行业二十余年，业务领域正逐步由招投标阶段拓展至工程项目的全生命周期， 产品从单一的预算软件扩展到工程造价、工程施工等多个业务板块，涵盖工具软件类、解决方案类、大数 据、移动互联网、云计算、智能硬件设备、产业金融服务等多种业务形态；服务的客户从中国境内拓展到 全球一百多个国家和地区；累计为行业二十余万家企业、千余万产品使用者提供专业化服务。 根据业务阶段及服务客户不同，公司业务划分为四大业务板块，分别为数字造价业务板块、数字施工 业务板块、创新业务板块和生态业务板块；根据业务区域不同，又分为国内业务和海外业务。

造价

数字造价业务板块属于公司成熟业务，主要为建设工程造价（工程成本、工程量计算）提供工具类软 件产品及数据服务，包括工程计价业务线、工程算量业务线和工程信息业务线等。经过二十多年发展，公 司在国内该业务领域有较高的市场占有率，竞争优势明显。报告期内，数字造价业务中的主要产品线正在 逐步推进云转型，其商业模式正由销售软件产品逐步转向提供服务的SaaS模式。

施工

数字施工业务板块是公司重点突破的成长业务，目前已经形成数字施工整体解决方案。在2019年6月 发布的广联达数字项目管理（BIM+智慧工地）平台基础上，结合广联达对建造业务的理解，已经开发出 覆盖岗位级、项目级、企业级的多个数字化应用系统，为施工企业数字化转型提供一站式服务。数字项目 管理平台解决了数据互通，促进了产品融合和价值提升，业务的协同效应和整合优势日益显现。该板块业 务的商业模式主要为提供平台化解决方案，销售自主软件产品。

创新

创新业务板块属于公司孵化业务，在新空间、新客户、新业务、新模式等方面实现公司业务探索和布局， 目前主要包括规建管一体化平台、建设方一体化平台、全装定制一体化平台等业务，上述业务以项目 的形式展开，尚未形成规模化销售。

生态

生态业务板块主要包括产业新金融、工程教育等业务。产业新金融业务依托公司专业应用系统的精准 数据及大数据服务，探索为建筑产业企业客户提供供应链金融服务的新模式；工程教育业务则围绕建筑类 院校相关需求，提供建筑实训课程产品销售及相关服务。 海外业务方面，一部分依托2014年全资收购的芬兰子公司机电专业BIM相关业务，形成MagiCAD产品线， 主要覆盖欧美等市场；另一部分为数字造价业务的国际化系列产品Cubicost，主要开拓香港，新加坡、马 来西亚和印尼等东南亚市场。

市场

数字施工业务全年实现收入8.53亿元，同比增长29.58%。报告期内，公司进一步融合原BIM与 智慧工地相关产品，发布针对项目的数字项目管理（BIM+智慧工地）平台，在该平台基础上结合应用组 件，实现“平台+组件”的业务形态，从而为项目管理提供可以快速规模化的综合解决方案。 数字项目管理（BIM+智慧工地）平台将施工现场系统和硬件设备集成到一个平台，将产生的数据汇 总建模，形成数据中心，实现统一主数据、统一BI、统一入口、统一技术标准和数据接口。基于此平台， 可以为施工项目部提供整体的数字化解决方案，从项目的生产要素（人员、机械、物料、工艺方法等）及 管理要素（进度、质量、安全、成本等）出发，通过提供标准化产品，为施工企业带来三个转化。一是作 业数字化，即利用数字化技术实现项目信息实时传递与留痕，保证施工现场施工员、技术员、质量员、安 全员等多岗位工作结果有据可依的同时，还能收集工地现场数据，让管理更加立体。二是管理系统化，即 全面接入施工现场塔吊、施工电梯、深基坑、闸机等多设备信息，并将作业在线数据按照不同管理维度（如 进度管理、安全管理、质量管理）抽提给项目部各管理层，实现统一数据标准，达成业务动态协同。三是 决策智慧化，BIM+智慧工地平台将先进技术应用到项目管理，覆盖质量安全巡检、生产任务排分、安全 教育、技术交底、物料验收等各种场景，筛选出有效数据后供项目负责人制定战略规划，合理高效决策， 并及时预警风险。 报告期内，在数字施工业务企业级、项目级、岗位级三大类产品中，基于数字项目管理平台的项目级 产品营业收入占比过半，“平台+组件”项目级产品的推广取得了阶段性的成果。项目级产品全年新增企业 客户超过1100家，其中特、一级企业逾990家；新增项目超过3200个，其中特、一级企业项目逾2900个。 报告期内，数字施工业务的企业级和岗位级产品线也取得良好进展。企业级产品价值获得更多客户认 可，客户覆盖率和应用率进一步提升；岗位级产品持续迭代和打磨，产品的规模化拓展正在推进过程中。